Data Engineer Cloud GCP / AWS (CDI - H/F)

Vous rejoignez notre agence bordelaise au sein de l’équipe Data & IA et intervenez auprès de nos clients sur des projets de conception, d’industrialisation et d’optimisation de plateformes data modernes.

Vous travaillez en lien direct avec les équipes métiers, Data, Cloud et BI afin de comprendre les besoins, proposer des solutions pragmatiques et robustes, puis les mettre en œuvre dans des environnements cloud et Big Data.

• Concevoir, développer et maintenir des pipelines de données robustes, scalables et industrialisés,
• Développer, transformer, manipuler et optimiser les données à l’aide de Python et SQL.
• Mettre en œuvre des traitements distribués de grands volumes de données avec Apache Spark, PySpark et Databricks.
• Contribuer à des architectures de streaming et de traitement temps réel autour d’Apache Kafka et Apache NiFi.
• Intervenir sur des environnements cloud data et Data Warehouse, notamment AWS Glue et Redshift ou GCP BigQuery.
• Participer à la construction de plateformes data modernes, de type data warehouse, data lake ou lakehouse, selon les besoins clients.
• Garantir la qualité, la performance, la fiabilité et la sécurité des données tout au long de leur cycle de vie.

Dans l’environnement techniquesuivant (cette liste n’est pas exhaustive et surtout, elle indique les outils et technos qui nous intéressent et qui sont utilisés par nos clients) :

• Big Data et traitement distribué : Apache Spark, PySpark, Databricks.
• Streaming et temps réel : Apache Kafka, Apache NiFi.
• Cloud AWS (Glue, Redshift) ou GCP BigQuery selon les projets.

Titulaire d’un diplôme en informatique de niveau Bac+5, vous disposez d’une expérience d’au moins 4 ans sur des projets de conception et de maintenance de plateforme de données.

Vos compétences:

• Vous êtes à l’aise pour échanger avec des interlocuteurs métiers, comprendre leurs besoins et proposer des solutions pragmatiques, robustes et adaptées aux enjeux clients.
• Vous maîtrisez Python et SQL pour développer, transformer, manipuler et optimiser les données.
• Vous avez une bonne expérience des environnements Big Data, notamment Apache Spark, PySpark et Databricks pour le traitement distribué des données.
• Vous connaissez les architectures de streaming ou de traitement temps réel, avec Apache Kafka et/ou Apache NiFi.
• Vous avez déjà travaillé sur des environnements cloud data ou Data Warehouse, idéalement AWS Glue et Redshift ou GCP BigQuery.
• Vous connaissez les principes d’ETL/ELT, de qualité de données, d’optimisation des performances et d’industrialisation des traitements.