Hexateam
Data engineer Databricks
Data engineer in Paris designing and running data pipelines on Databricks using the Medallion architecture (Bronze/Silver/Gold), modeling data in Delta Lake, optimizing Spark jobs, and building APIs — with CI/CD delivery, data quality, monitoring, and production incident support.
- Compensation
- Not disclosed
- Location
- Paris, France
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Contribute to technical solution design and evolve data architectures using Databricks Medallion Architecture (Bronze, Silver, Gold)
- Design, develop and maintain ETL data pipelines for integration and business flows
- Implement and orchestrate data processing with Databricks
- Model data in Delta Lake tables with best practices for partitioning, indexing, optimization and governance
- Optimize Databricks processing performance: Spark, Delta Lake, costs and execution time
- Develop, test and deploy technical components via CI/CD processes
- Design, develop and maintain APIs for data exposure and consumption
- Implement data quality, monitoring and alerting mechanisms
- Identify, analyze and resolve production incidents with corrective-action follow-up
- Participate in Agile SAFe ceremonies (PI Planning, macro-estimation, refinements, retrospectives)
- Write and maintain technical documentation of implemented solutions
- Coach teams in adopting Data Engineering best practices
- Guarantee quality, reliability and performance of production jobs (Databricks jobs and APIs)
Full description
Missions principales
- Être force de proposition et participer à la conception des solutions techniques avec les membres de l’équipe
- Comprendre les enjeux métiers afin de concevoir des solutions répondant aux besoins fonctionnels
- Participer aux cérémonies Agile SAFe : PI Planning, macro-chiffrage, raffinements, rétrospectives, etc.
- Concevoir et faire évoluer les architectures de données selon l’approche Databricks Medallion Architecture (Bronze, Silver, Gold)
- Garantir la qualité, la fiabilité et la performance des traitements en production : jobs Databricks et API
- Contribuer à l’amélioration continue de la plateforme en proposant des optimisations, des bonnes pratiques et des innovations
Activités
- Concevoir, développer et maintenir des pipelines de données (ETL) pour les flux d’intégration et les flux métiers
- Mettre en œuvre et orchestrer les traitements de données avec Databricks
- Modéliser les données dans des tables Delta Lake en appliquant les bonnes pratiques de partitionnement, d’indexation, d’optimisation et de gouvernance
- Optimiser les performances des traitements Databricks : Spark, Delta Lake, coûts et temps d’exécution
- Assurer le développement, les tests et le déploiement des composants techniques via des processus CI/CD
- Concevoir, développer et maintenir des API pour l’exposition et la consommation des données
- Mettre en place des mécanismes de Data Quality, de monitoring et d’alerting
- Identifier, analyser et résoudre les incidents de production, avec suivi des actions correctives
- Rédiger et maintenir la documentation technique des solutions mises en œuvre
- Accompagner les équipes dans l’adoption des bonnes pratiques de Data Engineering