Big Data : les 5 métiers qui pèseront en 2019

Par Juvénal Chokogoué.

« Juvénal, je suis tout nouveau dans le Big Data, J’ai fait … {votre diplôme actuel} (une Licence en finance de marché, un BTS en développement web, un master en actuariat, une licence pro en biochimie, etc.) et je voudrais beaucoup m’orienter vers le Big Data. Compte-tenu de mon profil, que me conseilles-tu ? Par où devrais-je commencer ? « .

« Juvénal, je suis ingénieur agronome de formation, mais je souhaite me reconvertir et devenir Data Scientist. Penses-tu que c’est possible pour moi ?  »

« Juvénal, je suis actuellement étudiant en … {votre filière}, mais je souhaite me réorienter en Big Data.  Comment faire ?  »

« Juvénal, je suis ingénieur … {votre métier} (BI, Java, etc) et je souhaite faire du Big Data tout en conservant ma compétence d’ingénieur. Tu as quelque chose à me recommander ?  »

Vous vous reconnaissez dans l’une de ces questions ? Vous souhaitez ou pensez vous réorienter dans le Big Data ? Très bien !  Cette chronique a été rédigée pour vous.

Après 5 ans, l’intérêt du Big Data n’est plus à démontrer. Selon les estimations de plusieurs cabinets de conseil et d’expertise, le Big Data va créer d’ici 2020 plus de 4,4 millions d’emplois dans le monde. Déjà une étude menée par Dell en 2013 montrait que 74 % des entreprises européennes étaient convaincues de l’intérêt du Big Data dans leurs activités.

Une année après, une étude menée par CAPGEMINI montrait que 43 % des entreprises étaient en train de se restructurer pour saisir les opportunités du Big Data dans les 3 années à venir. Par ailleurs, en 2014, le gouvernement a lancé les 34 plans de la Nouvelle France Industrielle (NFI), un projet porté à l’époque par l’ex-ministre Arnaud Montebourg dont l’ambition est de  positionner la France sur le Big Data.

Par le projet de la Nouvelle France Industrielle, le gouvernement espère la création de plus 100 000 emplois directs dans le Big Data. ​​Que vous soyez en reconversion, en réorientation, ou nouveau, pour vous lancer dans le Big Data et y être opérationnel, la première étape incontournable consiste à choisir votre profil. En 2019, après analyse des appels d’offres des entreprises, des offres d’emplois, et au-delà du tapage médiatique (nous pensons à tout le bruit derrière l’IA), le marché est catégorique et montre que les entreprises ne sortent de l’argent que pour recruter 5 types de profil pour leurs projets Big Data : le Data Engineer, le Data Scientist, le développeur, l’administrateur/intégrateur et l’architecte.

Ainsi, si vous souhaitez travailler dans le Big Data de façon durable, vous avez tout intérêt à vous orienter et vous spécialiser dans l’un de ces 5 profils.

Profil #1 : l’ingénieur de données (Data Engineer)

Ce profil est spécialisé dans la gestion des données à large échelle. Cela signifie que cette personne sait utiliser des frameworks de calcul massivement parallèle tels que Hadoop ou Spark pour gérer les problématiques de données en entreprise. L’ingénierie de données Big Data requiert la double maîtrise des technologies du Big Data (principalement Hadoop, Spark, SQL, Hive, Pig, Oozie, ElasticSearch, Nifi, HBase, Spark Streaming, Kafka, HDFS, Shell) et des techniques de data management. (Formats de données, architectures distribuées, gestion des données en streaming, temps réel, API, services web, impact des technologies sur la performance des applications) pour résoudre des besoins métier de Reporting, de calcul d’indicateurs, et d’exploitation de données à des buts analytics.

Profil #2 : le Data Scientist

Ce profil intervient en aval de l’ingénieur de données. C’est un métier qui porte essentiellement sur la valorisation de données. Attention ! Ne confondez pas la gestion de données (qui est du ressort du Data Engineer) de la valorisation des données proprement dite (qui est du ressort du Data Scientist). Gérer la donnée c’est la mettre en forme de sorte qu’elle puisse servir de matériau brut pour la prise de décision. Valoriser les données c’est en extraire de l’information pertinente pour la prise de décision.

Le métier de Data Scientist exige des compétences en modèles mathématiques comportementaux (autrement dit des modèles mathématiques qui permettent d’expliquer ou anticiper l’évolution d’une variable). Des exemples de tels modèles sont : la régression linéaire, la régression logistique, la LASSO, la Bridge, les arbres de décision, les perceptrons multi-couches, la statistique descriptive, l’inférence statistique, les K-moyennes, les K-plus proches voisins, le CHAID 2, etc.  La connaissance de ces modèles est la clé de voûte du métier de Data Scientist. Il les utilise pour anticiper le comportement d’une variable, recommander des actions à effectuer, catégoriser les données en fonction de leur degré de similarité.

Dans l’e-commerce et les réseaux sociaux, c’est le Data Scientist qui développe les algorithmes de recommandation qui tournent derrières les « personnes que vous pourriez aussi connaître », les « produits que vous pourriez aussi acheter », les « pages que vous pourriez aussi aimer ». Dans le domaine de la banque, les data scientists développent des modèles de scoring qui permettent de prêter ou pas de l’argent à un individu, d’investir ou de ne pas investir sur un projet, de définir et proposer des offres en fonction du profil de chaque client, etc.

Profil #3 : le développeur

Ce métier est comme son nom l’indique, le développement logiciel. Il fait référence à la capacité d’utiliser avec maîtrise un langage de programmation (le Java principalement) et des API spécialisées dans le Big Data pour développer des briques applicatives qui vont compléter une plateforme de traitement massivement parallèle telle que Hadoop, Spark, HBase, etc. Attention ! à la différence du développement que fait l’ingénieur de données ou le Data scientist qui porte directement sur la data, celui du développeur est purement logiciel et porte directement sur la plateforme.  Le développeur Big Data au sens strict du terme sait manier l’exécution parallèle des travaux sur Hadoop, il sait faire du développement distribué, de la coordination de service, gérer la tolérance aux pannes, rendre un système cohérent etc.

Profil #4 : l’administrateur/Intégrateur

L’administrateur est un métier spécifiquement lié à l’administration d’Hadoop. Concrètement, l’administration d’Hadoop consiste en les tâches de constitution des ordinateurs sur lesquels Hadoop est installé (création et dimensionnement des machines virtuelles, connexion des nœuds, configuration, installation du système d’exploitation), d’installation et de configuration d’Hadoop, de gestion des défaillances (retrait des ordinateurs défaillants et remplacement par de nouveaux, de provisionnement en ressources et en redimensionnement).

Elle consiste également à gérer les aspects sécuritaires, l’attribution des autorisations et des niveaux de permissions aux différents utilisateurs d’Hadoop. Dans certains cas de figure, ce métier est combiné avec celui d’intégrateur Big Data. Auquel cas celui-ci est également chargé de faire des Mises en production (MEP) des projets/applications sur la plateforme, et du run.

L’administration/intégration requiert une forte maîtrise de Linux, des outils d’administration Hadoop (Ambari, Ranger), des protocoles de sécurité (Kerberos, SSL), du Shell, des procédures administratives de gestion des MEP et d’incidents de production, et d’une certaine mesure des outils du DevOps (Jenkins, Git, GitFlow, Docker, Sonarqube, Ansible, Maven, Nexus, artifactory, Kubernetes, outils de tests unitaire, outils de tests d’intégration, outils de tests fonctionnels, etc.).

Profil #5 : l’architecte

L’architecte est un métier technico-fonctionnel. Il fait référence d’une part à la capacité de décider des briques Hadoop nécessaires pour la résolution d’une problématique précise, et d’autre part à la capacité à intégrer cet ensemble à l’architecture informatique existante de l’entreprise ou à la modifier de sorte qu’elle puisse s’intégrer avec celle-ci. L’architecte Big Data est très peu impliqué dans les développements. II fournit la cartographie des outils Hadoop à utiliser, montre l’impact que cela aura dans l’architecture du SI de l’entreprise et travaille avec les décideurs pour la mettre en place.

L’architecture Big Data c’est beaucoup de conseil sur les choix de technologies à faire, les configurations des machines, la validation de la faisabilité technique de uses case. Elle nécessite essentiellement la maîtrise des référentiels de gestion de SI d’entreprise de type CobIT, ITIL, TOGAF, la connaissance des principes d’urbanisation d’un système d’information, les architectures orientées services (SOA), l’analyse des besoins métiers et la MOA. Elle nécessite également une connaissance assez pointue des technologies principales du Big Data.

Voilà ! Nous espérons que vous savez maintenant le métier vers lequel vous orienter pour bâtir votre carrière dans le Big Data. Gardez à l’esprit que ce sont les besoins des entreprises qui définissent ces métiers et pas l’inverse. Cette liste est donc susceptible d’évoluer avec le temps. Notez également que les métiers ne sont pas classés par ordre d’importance. Aucun métier dans la liste n’est relativement meilleur qu’un autre.

Nous vous recommandons très sérieusement de choisir un profil si vous souhaitez travailler ou vous réorientez dans le Big Data. Une fois que vous aurez choisi votre profil, vous pourrez le développer à l’aide d’une ou plusieurs certifications, ou encore d’un cursus de formation tel qu’un Master ou une formation professionnelle. Nous avons rédigé l’ouvrage Hadoop – Devenez opérationnel dans le monde du Big Data pour vous accompagner dans le développement du profil qui correspond à vos aspirations professionnelles dans le Big Data et vous aider à amorcer votre transition vers le Big Data.