Data Engineer H/F - Spark, DBT, python, Iceberg, AWS et Terraform.
Data Engineer with a French IT-infrastructure consulting firm (ESN), working on data projects for a major transport-sector client in Saint-Denis (IDF): build and optimize large-scale pipelines (batch, streaming, API), implement a Bronze/Silver/Gold medallion Lakehouse on AWS using Spark, DBT and Iceberg, orchestrate with Airflow and provision with Terraform.
- Compensation
- €62K–€67K / yr
- Location
- Paris, France
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Full time
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- 8 years minimum of Data Engineering experience
- Advanced mastery of Big Data and Lakehouse architectures
- Real expertise with Spark, DBT, Iceberg, AWS and Terraform
- Mastery of AWS services (Glue, EMR, S3, ...)
- Knowledge of Trino/Starburst and Datadog
- Proficiency in Python
- Medallion architecture modeling (Bronze/Silver/Gold)
- Orchestrate ETL/ELT workflows with Airflow
- Run workloads in containerized environments (Docker, Kubernetes)
- Strong analytical capacity and understanding of business issues
- Rigor, autonomy and continuous-improvement mindset
- Ensure GDPR compliance of data flows
Full description
Créé en 2003 et adossé au groupe Smart4engineering depuis 2019, nous accompagnons nos clients dans la conception, la gestion et la sécurisation de leurs infrastructures informatiques, pour les aider à relever les défis structurants d’aujourd’hui et de demain.
Dans le cadre de projets pour des clients grands comptes, nous recherchons un·e développeur·euse passionné·e et polyvalent·e pour intégrer une équipe agile et contribuer à la conception et au développement de solutions back-end et/ou full‑stack.
Contrat : CDI uniquement
Salaire : 62K-67K
Expérience : 7 ans minimum
Localisation : IDF (Saint-Denis)
Contexte
Nous recherchons un·e Data Engineer afin d’accompagner le pôle Data Services d’un acteur majeur du secteur des transports dans la conception, l’industrialisation et l’évolution de ses solutions data. Vous interviendrez sur des sujets d’architecture, de modélisation, d’optimisation des pipelines et contribuera activement à la stratégie Lakehouse de l’entreprise.
Missions
- Concevoir, développer et optimiser des pipelines de données à grande échelle.
- Mettre en œuvre des flux batch, streaming et ingestion via API.
- Structurer les transformations selon un modèle Médaillon (Bronze / Silver / Gold).
- Développer et industrialiser les pipelines via DBT, Spark et Iceberg.
- Contribuer à l’évolution de l’architecture Lakehouse.
Livrables attendus
- Déployer et maintenir les pipelines dans un environnement cloud (AWS ou équivalent).
- Orchestrer les workflows ETL/ELT via Airflow.
- Mettre en œuvre l’Infrastructure as Code (Terraform).
- Exécuter les traitements dans des environnements conteneurisés (Docker, Kubernetes).
- Garantir la disponibilité, la supervision et l’observabilité des traitements.
- Participer à la gestion des incidents et à l’amélioration continue.
- Définir et mettre en œuvre les règles de qualité des données (tests, validation, contrôles automatisés).
- Documenter les architectures, pipelines et règles métier.
- Garantir la conformité des flux, notamment dans le cadre RGPD.
Compétences requises
- 8 années minimum d’expérience en Data Engineering.
- Maîtrise avancée des architectures Big Data et Lakehouse.