Description de l'offre Environnement de travail : Au sein de l'équipe DataSteward, vous participerez à la maintenance et à l'évolution de plusieurs DataProduct sur Hadoop ou DataBricks, à la migration des traitements Hadoop vers Databricks ainsi qu'à l'évolution de notre framework interne d'ingestion de données dans DataBrickgs : Data Engine Cloud , composé de moteurs d'ingestion permettant d’intégrer des données issues de flux Kafka et de fichiers CSV dans Databricks. La technologie prédominante aux développements de ces traitements Big Data est Spark Scala. Missions confiées : Encadré(e) par des ingénieurs Big Data expérimentés, vous participerez aux activités suivantes : Maintenance et évolution des dataProducts
- Participer à la maintenance corrective et évolutive des DataProducts de la plateforme Data.
- Développer de nouvelles fonctionnalités et optimiser les traitements existants.
- Garantir la qualité, la fiabilité et la performance des traitements de données.
- Participer aux phases de tests, validation et mise en production. Migration Hadoop vers Databricks
- Contribuer à la migration des DataProducts de l'écosystème Hadoop vers Databricks.
- Adapter les traitements existants aux nouveaux standards Data Engineering Cloud.
- Participer à la validation fonctionnelle et technique des données et traitements migrées.
- Accompagner l'industrialisation des nouveaux traitements. Développement d'outils d'aide à la migration des données Hadoop vers Databrikcs
- Participer au développement d'outils facilitant la migration des traitements de données Hadoop vers Databricks.
- Automatiser certaines étapes de migration afin de réduire les efforts manuels.
- Contribuer à l'amélioration continue des outils internes de modernisation de la plateforme. Évolution de la stack Data Engine Cloud Vous participerez également aux évolutions de notre stack Data Engine Cloud, composée notamment de deux moteurs d'ingestion génériques : Kafka2Unity, permettant l'ingestion de flux temps réel provenant d'Apache Kafka vers Databricks.
File2Unity, permettant l'ingestion de fichiers (CSV) vers Databricks.
Dans ce cadre, vous serez amené(e) à :
- Participer à la maintenance corrective et évolutive de ces moteurs ;
- Développer de nouvelles fonctionnalités ;
- Améliorer les performances et la robustesse des traitements ;
- Participer aux phases de tests et de validation ;
- Contribuer à l'industrialisation des composants. Industrialisation et qualité
- Participer à l'amélioration continue des processus de développement.
- Contribuer aux tests automatisés et à la qualité logicielle.
- Participer aux revues de code et au partage des bonnes pratiques.
- Collaborer avec les équipes Data Engineering dans un environnement Agile (Scrum et SAFe). Environnement technique :
- Databricks
- Apache Spark
- Scala
- SQL
- Delta Lake
- Unity Catalog
- Apache Kafka
- Hadoop
- Git
- GitLab CI/CD
- Maven
- Cloud AWS Profil souhaité Niveau de diplôme préparé : Étudiant(e) en école d'ingénieur ou Master (Bac+4 / Bac+5) Spécialisation du diplôme préparé : Spécialisation en informatique, Data Engineering ou Cloud Durée du stage : 6 mois Ce que nous recherchons :
- Intérêt marqué pour les technologies Big Data et Cloud.
- Connaissances en Scala et SQL.
- Une première expérience avec Apache Spark (Scala) est un plus
- Sensibilité aux problématiques de qualité, gouvernance et exploitation des données.
- Curiosité, autonomie et esprit d'équipe.
- Une première expérience académique ou personnelle sur Spark, Databricks, Kafka ou AWS serait appréciée. Tout en étant soumise au principe de neutralité religieuse et politique, Enedis ouvre ses postes à toutes les compétences, toutes les énergies et toutes les personnalités sans exclusion. Conformément aux engagements pris par Enedis en faveur de l'accueil et de l'intégration des personnes en situation de handicap, cet emploi est ouvert à toutes et à tous sous réserve de l'aptitude médicale délivrée par la médecine du travail. L'emploi est tenu de respecter les principes et engagements définis par le Code de Bonne Conduite d'ENEDIS. Qui sommes-nous ? Entreprise à mission, Enedis distribue en France l'électricité via le plus grand réseau électrique d'Europe et déploie un code de bonne conduite qui l'amène à fournir un traitement et un service identiques à tous ses clients placés dans la même situation. Engagés dans le respect de la santé-sécurité, nos salariés relèvent des défis technologiques, écologiques et sociétaux. Soumise au principe de neutralité et engagée pour l'inclusion, Enedis ouvre ses opportunités à tous les talents.