Lead / Senior Data Engineer — Streaming & Temps Réel (IT) / Freelance
First technical hire building, from scratch, the real-time streaming data platform powering a recommendation/personalization engine for a major travel & retail player (3-second response constraint). Core stack: Python, GCP/BigQuery, event-driven streaming (beyond just Kafka), Terraform/CI-CD, plus batch pipelines, with a technical-lead role as the team grows.
- Compensation
- Not disclosed
- Location
- France
- Work setup
- Not specified
- Seniority
- Lead
- Employment
- Contract
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Deep mastery of streaming concepts: windowing, real-time processing, delivery guarantees — beyond Kafka alone
- Solid experience with event-driven architecture
- Expertise in Google Cloud Platform, notably BigQuery
- Python as primary language
- Comfort with batch pipelines for enriching historical data
- Infrastructure as Code (Terraform), CI/CD, quality and documentation practices
- Design and build the streaming data pipeline from scratch
- Define and challenge architecture choices and clarify the stack
- Act as technical referent and support team growth
Full description
Le contexte
Un acteur majeur du secteur du voyage et de la distribution lance un nouveau projet stratégique : la construction d'un moteur de recommandation et de personnalisation destiné à proposer en temps réel, à chaque client, les offres et produits les plus pertinents selon son profil.
Vous êtes le premier profil technique recruté pour poser les fondations d'une nouvelle équipe Data Engineering qui s'étoffera progressivement. Tout est à construire : l'architecture a été esquissée mais reste entièrement challengeable. Votre rôle : concevoir et bâtir de zéro la plateforme de données en streaming qui alimentera les équipes Data Science et Produit.
Vos missions
- Concevoir et construire from scratch le pipeline de données en streaming qui alimentera les modèles de recommandation et de personnalisation.
- Mettre à disposition les données en temps réel pour les équipes Data Science et les produits, avec une contrainte métier forte : un temps de réponse de l'ordre de 3 secondes entre la recherche du client et la recommandation affichée.
- Définir et challenger les choix d'architecture (event-driven), clarifier la stack par rapport au cadrage initial.
- Gérer également une partie batch pour enrichir l'historique et les profils clients.
- Accompagner la montée en puissance de l'équipe et jouer un rôle de référent technique.
Compétences techniques requises
Streaming & temps réel (critique)
- Maîtrise approfondie des concepts de streaming : gestion du fenêtrage (windowing), traitement temps réel, garanties de livraison, au-delà du seul outil Kafka.
- Expérience solide d'une architecture event-driven.
Cloud & traitement
- Expertise Google Cloud Platform (BigQuery notamment).
- Python comme langage principal.
- Aisance sur les pipelines batch pour l'enrichissement de données historiques.
Pratiques d'ingénierie
- Infrastructure as Code (Terraform), CI/CD, bonnes pratiques de qualité et de documentation.