Data Engineer – Big Data & Cloud
Senior Data Engineer at a consultancy, working on a data platform project for a retail client in Madrid: designing batch and real-time data architectures on Cloudera and Google Cloud, and building ingestion/transformation pipelines with Spark, Scala, BigQuery, dbt, SQL and Python, with production support via Control-M.
- Compensation
- Not disclosed
- Location
- Madrid, Spain
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- 3+ years designing and developing batch and real-time processes with Apache Spark in the Cloudera ecosystem
- High level of Scala on Spark and knowledge of Java
- Experience with HDFS, Hive, Kudu and Solr
- Deep knowledge of Apache Kafka, both architecture and development
- Experience with GCP and BigQuery
- Knowledge of dbt, SQL and Python
- Experience with Pub/Sub, Dataflow, Cloud Functions and Cloud Storage
- Experience with Git/Bitbucket, Jenkins and CI/CD
- Process planning with Control-M
- Experience working with Scrum methodologies
- Autonomy, decision-making ability and good communication skills
Nice to have
- Experience with hybrid on-premise and Cloud architectures
- Knowledge of Data Fusion, Cloud Bigtable and GKE
- Experience in the retail sector
- Participation in requirements gathering and functional analysis in Big Data/BI projects
Full description
Buscamos Senior Data Engineer – Big Data & Cloud! ¿Tienes experiencia en arquitecturas Big Data, Apache Spark y Cloudera? ¿Te interesa asumir un papel de referencia técnica, combinando arquitectura y desarrollo en entornos híbridos y Cloud? ¡Esta oportunidad puede interesarte!
Buscamos Senior Data Engineer – Big Data & Cloud! ¿Tienes experiencia en arquitecturas Big Data, Apache Spark y Cloudera? ¿Te interesa asumir un papel de referencia técnica, combinando arquitectura y desarrollo en entornos híbridos y Cloud? ¡Esta oportunidad puede interesarte!
Principales responsabilidades
- Diseñar y evolucionar arquitecturas de datos batch y real time sobre Cloudera y Google Cloud Platform (GCP).
- Desarrollar y mantener procesos de ingesta, almacenamiento y transformación de datos con Spark, Scala, BigQuery, dbt, SQL y Python.
- Trabajar con arquitecturas de datos, gobierno del dato y optimización de procesos productivos.
- Participar en la planificación del backlog, estimaciones técnicas y coordinación con el Product Owner.
- Colaborar con el cliente, los equipos de IT y negocio, y participar en demos.
- Resolver incidencias de producción y supervisar procesos mediante Control-M.
- Asegurar las buenas prácticas técnicas y orientar al resto del equipo.
Requisitos imprescindibles
Big Data
- Más de 3 años de experiencia diseñando y desarrollando procesos batch y real time con Apache Spark en el ecosistema Cloudera.
- Alto nivel de Scala sobre Spark y conocimientos de Java.
- Experiencia con HDFS, Hive, Kudu y Solr.
- Conocimiento profundo de Apache Kafka, tanto a nivel de arquitectura como de desarrollo.
Cloud – Google Cloud Platform
- Experiencia con GCP y BigQuery.
- Conocimientos de dbt, SQL y Python.
- Experiencia con Pub/Sub, Dataflow, Cloud Functions y Cloud Storage.
Otros requisitos
- Experiencia con Git/Bitbucket, Jenkins y CI/CD.
- Planificación de procesos con Control-M.
- Experiencia trabajando con metodologías Scrum.
- Autonomía, capacidad de decisión y buenas habilidades de comunicación.
Se valorará
- Experiencia en arquitecturas híbridas on-premise y Cloud.
- Conocimientos de Data Fusion, Cloud Bigtable y GKE.
- Experiencia en el sector retail.
- Participación en la toma de requisitos y análisis funcional en proyectos Big Data/BI.