Data Engineer Databricks & AWS

Contexte

Dans le cadre de notre croissance, Hexateam recrute deux Data Engineer pour intervenir sur des environnements Databricks sur AWS, avec des enjeux d’ingestion, de transformation et de fiabilité des données.

MissionsDéveloppement et ingestion de données

• Concevoir et développer des pipelines de données en Python et Spark sur Databricks

• Mettre en place des flux entre sources externes (ex : Oracle) et un Data Lake (S3 / Delta Lake)

• Optimiser les traitements et les performances

Orchestration et qualité des données

• Orchestrer les workflows avec AWS Airflow

• Mettre en place des contrôles qualité et des mécanismes de validation

• Développer des outils de monitoring et de gestion des anomalies

Maintien en condition opérationnelle

• Assurer la disponibilité et la performance des pipelines

• Diagnostiquer et corriger les incidents

• Participer à l’amélioration continue des traitements

Contribution

• Participer aux ateliers techniques et aux échanges avec les équipes

• Documenter les pipelines, architectures et processus

• Contribuer aux bonnes pratiques Data et Big Data

Profil recherché

Expérience

• 3 à 7 ans d’expérience en Data Engineering

Compétences techniquesObligatoires :

• Python

• Spark

• Databricks

• SQL

Requises :

• AWS : S3, Glue, Airflow, Airflow, Lambda, IAM

Environnement :

• Git / GitLab (CI/CD)

• JIRA / Confluence

• Méthodologie Agile (Scrum)

Certifications obligatoires

• Certification Databricks (Data Engineer Associate ou Professional)