Il décide quand une donnée peut être considérée comme fiable, comment elle doit être transformée et rejouée, et quel compromis accepter entre fraîcheur, complétude, coût et continuité de service.
Le Data Engineer ne se résume pas à déplacer des données entre des sources, un lac de données, un entrepôt et des outils de restitution. Le poste commence lorsque la chaîne fonctionne techniquement, mais que personne ne peut encore garantir que la donnée publiée est complète, à jour, correctement modélisée et interprétable par ses consommateurs.
La différence entre l’exécutant et celui qui tient réellement le poste se voit dans la manière de traiter les défauts silencieux. Un traitement terminé sans erreur ne prouve pas que la donnée est juste. Un rattrapage réussi ne prouve pas qu’il n’a rien dupliqué. Une table disponible ne dit rien de sa fraîcheur. L’évaluation porte donc moins sur la capacité à faire fonctionner une stack data que sur la capacité à établir ce que la chaîne garantit réellement.
Le métier est traversé par des tensions permanentes : publier vite ou attendre une donnée complète, rejouer ou reconstruire, historiser ou réduire les coûts, accepter une dérive de schéma ou interrompre l’alimentation. Le Data Engineer doit rendre ces tensions explicites, mesurer leurs conséquences et protéger la confiance dans les données sans transformer la plateforme en système rigide et surdimensionné.
Repères marché
Le Data Engineer reste un profil fortement recherché sur le marché français, aussi bien dans les entreprises utilisatrices que dans les cabinets de conseil, les ESN et les éditeurs SaaS. L’intitulé recouvre toutefois des réalités très différentes : certains postes sont centrés sur l’ingestion et l’exploitation, d’autres sur la modélisation analytique, la plateforme, le streaming ou la gouvernance.
Les profils réellement séniors sont plus rares que les profils capables de construire des pipelines dans un écosystème donné. La différence se situe dans l’expérience des incidents, des données historiques imparfaites, des migrations, des conflits de définition et des arbitrages de coût.
Contexte
En ESN, l’évaluation insiste sur la capacité à comprendre rapidement un patrimoine hérité, à travailler avec plusieurs donneurs d’ordre et à distinguer la correction techniquement souhaitable de ce qui est contractuellement réalisable. Le Data Engineer doit sécuriser des reprises, documenter les limites d’un existant qu’il n’a pas conçu et rendre les responsabilités explicites entre le client, les sources, l’intégrateur et les consommateurs.
Niveau 1
Junior
Le Junior sait intervenir sur un traitement délimité, appliquer un modèle existant et corriger un défaut identifié. Il vérifie les sorties les plus visibles et commence à comprendre les dépendances entre sources, transformations et tables publiées. Lorsque la donnée est opaque ou que plusieurs chiffres se contredisent, il a encore besoin d’un cadre d’investigation.
Cliquer pour lire
Niveau 2
Confirmé
Le Confirmé est autonome sur le périmètre courant. Il sait remonter une chaîne, identifier un défaut de qualité, raisonner sur le grain d’une table, rendre un traitement rejouable et comparer plusieurs options de correction. Il vérifie ses résultats au lieu de considérer l’exécution réussie comme une preuve. Sa limite fréquente : les consommateurs aval et le coût de reprise restent insuffisamment intégrés.
Cliquer pour lire
Niveau 3
Sénior
Le Sénior relie le traitement à son usage. Il distingue le rétablissement immédiat de la donnée et la correction de la cause, la fraîcheur technique et la fraîcheur réellement attendue, l’optimisation utile et le calcul qui ne devrait plus exister. Il anticipe les effets d’une modification sur les analystes, les tableaux de bord et les processus métier.
Cliquer pour lire
Niveau 4
Expert
L’Expert n’est pas celui qui connaît davantage de moteurs, d’ordonnanceurs ou de formats. C’est celui qui tranche un arbitrage structurant en assumant ce que la décision fait perdre : accepter une donnée moins immédiate pour préserver sa complétude, interrompre une publication plutôt que diffuser un chiffre douteux, ou déclarer une partie d’un historique non fiable.
Cliquer pour lire
Une chaîne data doit pouvoir être diagnostiquée, reprise et surveillée dans la durée. Un traitement rapide mais impossible à rejouer ou incapable de détecter une absence de donnée n’est pas exploitable.
Le grain, l’historisation, les contrats de données et la réconciliation déterminent le sens du chiffre. Une erreur à ce niveau peut rester invisible longtemps et affecter tous les usages aval.
Volumétrie, batch, flux, stockage et coût doivent être arbitrés selon l’usage. La performance compte, mais elle ne compense jamais une donnée incorrecte ou une architecture sans trajectoire.
Accès, rétention, lignage, données personnelles et capacité d’effacement conditionnent la maîtrise réelle du patrimoine data. Leur poids peut devenir plus important dans un environnement fortement régulé.
La fiabilité dépend aussi des relations avec les producteurs, les analystes et les métiers. Un contrat implicite ou un incident mal communiqué produisent des défauts que la technique seule ne corrige pas.
La méthode en action
La scorecard en un regard — survoler un axe
Data et intelligence artificielle