AVOS Tech | Chile
Data Engineer - GCP
Data Engineer building and operating GCP data platforms for AVOS Tech Chile's specialized data services vertical: batch/streaming pipelines with Python, SQL, Dataflow and Pub/Sub, medallion Data Lake/Warehouse on BigQuery, Airflow orchestration, CI/CD, Docker/Kubernetes deployments, and data quality/cataloging. Onsite in Santiago, Chile.
- Compensation
- Not disclosed
- Location
- Santiago, Chile
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- SQL y BigQuery avanzado
- GCP y Cloud Composer/Airflow
- Desarrollo y operación de pipelines ETL/ELT
- Modelado y calidad de datos
- Desarrollar pipelines batch y streaming con Python, SQL, Dataflow y Pub/Sub
- Arquitecturas Data Lake / Data Warehouse con modelo medallion en Cloud Storage y BigQuery
- Diseñar modelos de datos dimensionales, particionamiento y clustering
- Calidad de datos con Great Expectations y catalogación en Data Catalog / Dataplex
- Pipelines CI/CD en GitLab CI/CD y Cloud Build con Artifact Registry
- Docker, Kubernetes/GKE con Helm, Cloud Run y Cloud Functions
- Configurar IAM, Secret Manager, redes (VPC, firewall) y escaneo SAST/DAST
- Monitoreo, logging y alertas con Cloud Logging / Monitoring
- Backup, disaster recovery, autoscaling y balanceo de carga
- Documentación técnica y gestión mediante Jira/Confluence
Nice to have
- Experiencia en Microsoft Fabric y Power BI
- Experiencia en SharePoint y Office 365
Full description
Somos la vertical de servicios especializados en datos de AVOS Tech Chile. Contamos con más de 25 años de experiencia implementando proyectos de diversa complejidad, apoyando a nuestros clientes en sus procesos de transformación digital mediante soluciones innovadoras, flexibles y adaptadas a sus necesidades.
Principales desafíos
- Desarrollar pipelines de ingesta y transformación batch y streaming con Python, SQL, Dataflow y Pub/Sub.
- Implementar arquitecturas Data Lake / Data Warehouse bajo el modelo medallion (bronze, silver, gold) en Cloud Storage y BigQuery.
- Diseñar modelos de datos dimensionales y estrategias de particionamiento y clustering.
- Orquestar flujos de datos en Airflow / Cloud Composer.
- Implementar validaciones de calidad de datos (por ejemplo, Great Expectations) y catalogar activos en Data Catalog / Dataplex.
- Construir y mantener pipelines de CI/CD en GitLab CI/CD y Cloud Build, con publicación de artefactos en Artifact Registry.
- Contenerizar aplicaciones con Docker y desplegarlas en Kubernetes / GKE mediante Helm charts, además de Cloud Run y Cloud Functions.
- Configurar IAM, Secret Manager, redes (VPC, firewall rules) y escaneo de vulnerabilidades (SAST/DAST, imágenes).
- Implementar monitoreo, logging y alertas con Cloud Logging / Monitoring.
- Definir e implementar políticas de backup, disaster recovery, autoscaling y balanceo de carga.
- Analizar y optimizar el consumo de recursos cloud.
- Apoyar la validación de datos en herramientas de visualización (Looker Studio / Power BI).
- SQL y BigQuery avanzado.
- GCP y Cloud Composer/Airflow.
- Desarrollo y operación de pipelines ETL/ELT.
- Modelado y calidad de datos.
- Documentación técnica y gestión mediante Jira/Confluence.
- 'Deseable experiencia en Microsoft Fabric y Power BI.
- Deseable experiencia en Sharepoint y Office 365
Beneficios
- Seguro complementario de salud.
- Ruta de formación y certificaciones.
- Día libre por cumpleaños.
- Reajuste salarial anual según IPC.
- Participación en proyectos innovadores de datos y tecnología.