Data Engineer Python
Consulting firm Invivoo is hiring an experienced Python Data Engineer for a cloud Big Data platform handling market-data processing and abnormal-behavior detection. Day-to-day: building PySpark pipelines, implementing data-lake/medallion architecture, optimizing performance and cloud costs, and ensuring data quality and CI/CD.
- Compensation
- Not disclosed
- Location
- France
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Confirmed experience as a Python Data Engineer
- Strong expertise in Python development in a Big Data context
- Very good command of the AWS ecosystem
- Good command of Python / PySpark for massive data processing
- Solid experience with Big Data and Data Lake architectures
- Good command of data quality and data cataloging tools
- Knowledge of DevOps practices (CI/CD, Git, automation)
- Good command of SQL
- Experience in environments with high volume and performance demands
Nice to have
- Knowledge of data visualization or APIs
- Experience in finance data / market data / trading
- Knowledge of AWS services: S3, Glue, Lambda, Step Functions, etc.
Full description
Envie de rejoindre un cabinet au cœur des grands enjeux Finance, Tech & Data?
Nous accompagnons depuis plus de 20 ans nos clients au coeur de leurs projets les plus complexes:
Le conseil métier
Chez Invivoo, nous partageons des valeurs simples : proximité, questionnement, engagement et plaisir. Si, comme nous, vous pensez que la réussite collective commence par la progression de chacun, rejoignez-nous. Let’s grow together !
Projet
Nous recherchons un Data Engineer Python (H/F) confirmé pour intervenir sur une plateforme de traitement de données de marché et de détection de comportements anormaux.
Vous intégrerez une application data orientée Big Data, reposant sur une architecture moderne dans le cloud, permettant l’ingestion, la transformation et l’analyse de flux de données issus de multiples plateformes d’échange. Dans ce contexte, vous interviendrez sur :
La conception et le développement de pipelines de données en Python (PySpark)
L’ingestion et la normalisation de données de marché à grande échelle
La mise en œuvre d’architectures de type data lake / medallion (silver & gold layers)
L’optimisation des traitements (performance, scalabilité, coûts cloud)
La gestion de la qualité des données (frameworks type Great Expectations)
L’exposition des données aux différents consommateurs métiers
L’amélioration continue des frameworks (monitoring, CI/CD, tests, résilience)
La rédaction de la documentation technique (architecture, flux, pipelines)
Environnement technique
Bonne maîtrise de Python / PySpark pour le traitement de données massives
Solide expérience en architectures Big Data et Data Lake
Bonne maîtrise des outils de Data Quality et de catalogage des données
Connaissances en DevOps (CI/CD, Git, automatisation)
Bonne maîtrise de SQL
Serait un plus :
Connaissances en data visualisation ou API
Expérience en data finance / market data / trading
Connaissance des services AWS : S3, Glue, Lambda, Step Functions, etc.
Profil recherché
Première expérience confirmée en tant que Data Engineer python
Forte expertise en développement Python dans un contexte Big Data
Très bonne maîtrise de l’écosystème AWS
Expérience dans des environnements exigeants en volumétrie et performance