Data Engineer Scala / Python / Spark (H/F)

Ne postulez pas si vous ne justifiez pas d'au moins 5 ans d'expérience et d'une parfaite maîtrise de Python et de Spark.

Contexte de la missionDans le cadre du renforcement de ses équipes Data, notre client, acteur majeur du secteur des services financiers, recherche un Data Engineer Scala ou Python / Spark.

Vous intégrerez une équipe technique en charge de la conception, du développement et de la maintenance de solutions de traitement et d'exploitation de données à grande échelle.

Missions principales

• Concevoir, développer et maintenir des pipelines de traitement de données.

• Développer des traitements distribués avec Apache Spark en Scala ou Python.

• Participer à la collecte, à la transformation et à l'intégration de données provenant de différentes sources.

• Optimiser les performances et la fiabilité des traitements Data.

• Garantir la qualité, la cohérence et la disponibilité des données.

• Participer à l'industrialisation et à l'automatisation des flux de données.

• Collaborer avec les équipes Data, IT et métiers.

• Contribuer aux bonnes pratiques de développement, de documentation et de mise en production.

Compétences techniques requises

• Bonne maîtrise de Scala ou Python.

• Expérience significative avec Apache Spark.

• Bonne connaissance des architectures et traitements Big Data.

• Maîtrise des concepts ETL / ELT et des pipelines de données.

• Bonne compréhension des bases de données SQL.

• Connaissance des environnements distribués.

• Utilisation de Git et des bonnes pratiques de développement.

Profil recherché

Compétences appréciées

• Connaissance des environnements Cloud.

• Expérience sur des plateformes Big Data.

• Maîtrise des outils d'orchestration de workflows.

• Connaissance des pratiques CI/CD et DevOps.

• Expérience dans le secteur bancaire ou financier.