Data Engineer: End-to-End Pipelines & Databricks Expert
Data engineer in Paris designing and building robust, scalable batch and real-time data pipelines: Talend ETL flows feeding a datalake and consumer systems, Python/PySpark jobs on Databricks, and target data models, with CI/CD, data quality, testing, and production deployment.
- Compensation
- Not disclosed
- Location
- Paris, France
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Design and implement batch and real-time ingestion and transformation pipelines
- Develop Talend ETL flows feeding the datalake and consumer systems
- Build Python/PySpark processing on Databricks
- Design target data models
- Apply CI/CD best practices and data quality standards
- Participate in testing and production deployment
Full description
•Concevoir et implémenter des pipelines d'ingestion et de transformation de données (batch et temps réel), robustes et scalables.
•Développer et maintenir les flux ETL Talend qui alimentent le datalake et les systèmes consommateurs.
•Développer des traitements Python / PySpark sur Databricks et mettre en œuvre les modèles de données cibles.
•Automatiser les transformations, la documentation et les tests de données avec dbt.
•Configurer les pipelines d'acheminement des données, y compris les flux CDC.
•Mettre en place les bonnes pratiques de qualité de données, de monitoring, d'alerting et de logging.
•Développer des modules réutilisables (templates de pipelines, librairies communes, CI/CD) et exploiter les modules existants dans les nouveaux projets.
•Réaliser les développements et les tests associés, et accompagner les mises en production.