DSAC Chile
Data Engineer Senior
Senior Data Engineer who designs and builds reliable, automated, scalable data ingestion and processing pipelines on Google Cloud Platform (BigQuery, Cloud Storage, Dataflow, Pub/Sub), orchestrated and monitored with Airflow/Cloud Composer. 100% remote within Chile, full-time, with a 3-month initial duration.
- Compensation
- Not disclosed
- Location
- Remote
- Work setup
- Remote
- Seniority
- Senior
- Employment
- Full time
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Degree in Informatics/Civil Engineering, Industrial Engineering, Computing or related field
- 4+ years of experience as a Data Engineer
- At least 2 years of experience working with GCP and BigQuery
- Experience building production pipelines with Airflow / Cloud Composer
- Experience working with large volumes of data
- Proficiency with Git and CI/CD flows
- Experience with Python and advanced SQL
- Ability to work autonomously and make technical decisions
- Rigor and focus on data quality and completeness
- Ability to document and generate knowledge
- Clear communication with technical and business teams
- Judgment for optimizing cloud costs and performance
Full description
Serás responsable de diseñar y construir soluciones de ingesta y procesamiento de datos confiables, automatizadas y escalables, asegurando la calidad, completitud y disponibilidad de la información.
Entre tus principales responsabilidades estarán:
- Diseñar y construir pipelines de datos productivos.
- Implementar procesos de ingesta y procesamiento utilizando servicios de Google Cloud Platform (GCP).
- Trabajar con BigQuery y Cloud Storage para almacenamiento y procesamiento de datos.
- Diseñar tablas eficientes considerando particionamiento, clustering, datos tardíos y zonas horarias.
- Orquestar y monitorear pipelines mediante Cloud Composer / Airflow.
- Implementar controles de completitud, volumetría y alertas ante comportamientos anómalos.
- Trabajar con grandes volúmenes de información y optimizar procesos considerando rendimiento y costos en la nube.
- Documentar pipelines, procedimientos operativos, runbooks y procesos de reproceso/backfill.
- Trabajar colaborativamente con equipos de Data, IA y Data Science.
- Participar en la definición y evolución de soluciones dentro de una plataforma de datos existente.
🛠️ Stack tecnológico
Google Cloud Platform:
- BigQuery
- Cloud Storage
- Pub/Sub
- Dataflow / Apache Beam
- Cloud Run / Cloud Functions
- Cloud Composer / Airflow
- Workflows
- IAM
- Secret Manager
- Cloud Logging & Monitoring
- Terraform
- Cloud Build / CI-CD
Lenguajes y herramientas:
- Python
- SQL avanzado
- Git
- APIs REST / Webhooks
Formatos y tecnologías de datos:
- Parquet
- JSON
- CSV
- Formación en Ingeniería Civil Informática, Ingeniería Industrial, Computación o carrera afín.
- 4+ años de experiencia como Data Engineer.
- Al menos 2 años de experiencia trabajando con GCP y BigQuery.
- Experiencia construyendo pipelines productivos con Airflow / Cloud Composer.
- Experiencia trabajando con grandes volúmenes de datos.
- Dominio de Git y flujos CI/CD.
- Experiencia con Python y SQL avanzado.
- Capacidad para trabajar de manera autónoma y tomar decisiones técnicas.
- Rigurosidad y orientación a la calidad y completitud de los datos.
- Capacidad de documentación y generación de conocimiento.
- Comunicación clara con equipos técnicos y de negocio.
- Criterio para optimizar costos y rendimiento en la nube.