Data Engineer Senior: Migración Cloudera a GCP (Remote)
Senior data engineer leading a Cloudera-to-GCP migration: moving workloads and validating pipelines between platforms with focus on performance and data security. Core stack spans HDFS, Spark/Scala/PySpark, Dataproc (incl. Serverless), Spark Streaming and Kafka, plus GCP data services and governance (Dataplex, IAM, BigQuery Tags).
- Compensation
- Not disclosed
- Location
- Madrid, Spain
- Work setup
- Not specified
- Seniority
- Senior
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Sólida experiencia migrando workloads entre plataformas (Cloudera a GCP)
- Experiencia validando pipelines entre plataformas, con foco en rendimiento y seguridad de los datos
- Dominio de HDFS, Spark, Scala y PySpark
- Dominio de Dataproc y Dataproc Serverless
- Dominio de Spark Streaming y Kafka en GCP
Nice to have
- Conocimiento de Kudu, Cloud SQL, Spanner y Bigtable
- Conocimiento de gobernanza de datos (Dataplex, IAM y BigQuery Tags)
Full description
Grupo TECDATA Engineering busca un Data Engineer senior para liderar la migración de Cloudera a Google Cloud Platform (GCP). Se requiere experiencia sólida migrando workloads y validando pipelines entre plataformas, con foco en rendimiento y seguridad de los datos.
El candidato ideal domina HDFS, Spark, Scala y PySpark, Dataproc y Dataproc Serverless, Spark Streaming y Kafka en GCP, y conoce Kudu, Cloud SQL, Spanner y Bigtable, así como gobernanza de datos (Dataplex, IAM y BigQuery Tags).