Factor IT
Data Engineer Semi Senior
Semi-senior Data Engineer who designs, builds, and maintains batch and streaming data pipelines on Google Cloud Platform: ingesting data into BigQuery, orchestrating flows with Cloud Composer (Airflow), transforming with Dataflow/dbt, and ensuring data quality, governance, cost optimization, and CI/CD practices.
- Compensation
- Not disclosed
- Location
- Chile
- Work setup
- Hybrid
- Seniority
- Middle
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- 2-4 years of experience as Data Engineer or similar role
- Hands-on experience with Google Cloud Platform (GCP)
- Experience with BigQuery
- Experience with Cloud Storage
- Experience with Cloud Composer / Airflow
- Experience with Dataflow / Apache Beam
- Experience with Pub/Sub
- Advanced SQL including CTEs, window functions, and query optimization in BigQuery
- Python for data processing, DAG development, and GCP client libraries
- Knowledge of dimensional data modeling and Data Warehouse / Data Lakehouse concepts
- Experience with Git and CI/CD flows such as Cloud Build, GitHub Actions, or GitLab CI
- Knowledge of data formats such as Parquet, Avro, and JSON
- Experience with integration patterns such as REST APIs, CDC, and incremental loads
- Degree in Systems Engineering, Computer Engineering, Computer Science, Software Engineering, or related field
- Business orientation and ability to understand the impact of data on organizational processes
- Effective communication with technical and non-technical teams
- Collaborative work with Product, Analytics, IT, and vendor teams
- Autonomy and judgment to solve medium-complexity technical problems
- Analytical thinking and attention to detail
- Quality orientation and ability to identify root causes
- Responsibility and careful handling of sensitive information
- Continuous learning and adaptation to new technologies
- Ability to work in agile environments using methodologies like Scrum or Kanban
Full description
- Diseñar, construir y mantener pipelines de datos batch y streaming en GCP.
- Implementar procesos de ingesta desde sistemas transaccionales, APIs y fuentes externas hacia el Data Warehouse.
- Desarrollar y optimizar modelos de datos en BigQuery, considerando capas raw, staging y analítica.
- Aplicar buenas prácticas de particionamiento, clustering y optimización de consultas para mejorar rendimiento y controlar costos.
- Orquestar y monitorear flujos de datos utilizando Cloud Composer (Airflow), gestionando dependencias, reintentos, alertas y SLAs.
- Desarrollar procesos de transformación utilizando Dataflow (Apache Beam), Dataform o dbt, de acuerdo con las necesidades del proyecto.
- Implementar validaciones automáticas para asegurar la calidad, trazabilidad e integridad de los datos.
- Documentar procesos y soluciones de datos y participar en su catalogación.
- Aplicar buenas prácticas de seguridad y gobierno de datos, incluyendo IAM, políticas a nivel de fila y columna y mecanismos de protección de información sensible.
- Colaborar con equipos de Analítica, BI y Negocio para transformar requerimientos en soluciones de datos.
- Participar en la mejora continua de la arquitectura, proponiendo optimizaciones de performance, costos y mantenibilidad.
- Versionar código y participar en procesos de CI/CD e infraestructura como código.
2 a 4 años de experiencia como Data Engineer o en roles similares. Experiencia práctica trabajando con Google Cloud Platform (GCP).
Experiencia con:
- BigQuery
- Cloud Storage
- Cloud Composer / Airflow
- Dataflow / Apache Beam
- Pub/Sub
- SQL avanzado, incluyendo CTEs, funciones de ventana y optimización de consultas en BigQuery.
- Python orientado al procesamiento de datos, desarrollo de DAGs y uso de librerías cliente de GCP.
- Conocimientos de modelamiento de datos dimensional y conceptos de Data Warehouse / Data Lakehouse.
- Experiencia con Git y flujos de CI/CD como Cloud Build, GitHub Actions o GitLab CI.
- Conocimiento de formatos de datos como Parquet, Avro y JSON.
- Experiencia con patrones de integración como APIs REST, CDC y cargas incrementales.
🎓 Formación
Profesional en Ingeniería de Sistemas, Ingeniería Informática, Ciencias de la Computación, Ingeniería de Software o carreras relacionadas.
🤝 Habilidades
- Orientación al negocio y capacidad para comprender el impacto de los datos en los procesos de la organización.
- Comunicación efectiva con equipos técnicos y no técnicos.
- Trabajo colaborativo con equipos de Producto, Analítica, TI y proveedores.
- Autonomía y criterio para resolver problemas técnicos de complejidad media.