Senior Data Engineer – AWS / Databricks
Senior Data Engineer at hiberus Colombia designing and maintaining batch and streaming data pipelines on AWS/Databricks (Delta Lake, Medallion architecture, Unity Catalog) to build governed, quality-controlled Golden Datasets that power an international AI project alongside Data Science, ML and GenAI teams.
- Compensation
- Not disclosed
- Location
- Bogotá, Colombia
- Work setup
- Not specified
- Seniority
- Senior
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- 3+ years in Data Engineering
- At least 2 years working with AWS and/or Databricks in production environments
- Experience with AWS: S3, IAM, Glue, Lake Formation and CloudWatch
- Advanced PySpark / Spark SQL
- Productive-level Python
- Git, pull requests and good development practices
- CI/CD applied to data pipelines
- Data modeling, Data Lake and data governance principles
Nice to have
- Experience with Feature Store
- Experience with dbt
- Experience with Airflow/Dagster
- Experience in mobility, fleet or IoT projects
- AWS or Databricks certifications
Full description
¡Estamos buscando Senior Data Engineer | AWS / Databricks!
En hiberus Colombia estamos buscando un/a Senior Data Engineer para formar parte de un proyecto internacional de Inteligencia Artificial, trabajando junto a equipos de Data Science, ML Engineering y GenAI.
El reto principal será diseñar, construir y mantener los pipelines de ingesta, transformación y procesamiento de datos que alimentarán un Golden Dataset gobernado, asegurando que la información sea de calidad, trazable, reproducible y esté preparada para el desarrollo de soluciones avanzadas de IA.
- Diseñar e implementar pipelines de datos batch y streaming sobre AWS y/o Databricks.
- Construir y mantener arquitecturas Medallion (Bronze / Silver / Gold) sobre Delta Lake.
- Trabajar en la generación y mantenimiento de Golden Datasets.
- Implementar controles de calidad, versionado, trazabilidad y linaje utilizando herramientas como Delta Time Travel y Unity Catalog.
- Desarrollar transformaciones como código versionado en Git, utilizando Python/PySpark, Spark SQL y/o dbt.
- Automatizar despliegues mediante CI/CD y herramientas como GitHub Actions, GitLab CI o Terraform.
- Optimizar rendimiento y costes de procesos en AWS y/o Databricks.
- Trabajar de manera colaborativa con Data Scientists, ML Engineers y GenAI Engineers para crear datasets y features reutilizables.
Buscamos experiencia en:
- 3+ años en Ingeniería de Datos.
- Al menos 2 años trabajando con AWS y/o Databricks en entornos productivos.
- Experiencia con AWS: S3, IAM, Glue, Lake Formation y CloudWatch.
- PySpark / Spark SQL a nivel avanzado.
- Python a nivel productivo.
- Git, pull requests y buenas prácticas de desarrollo.
- CI/CD aplicado a pipelines de datos.
- Modelado de datos, Data Lake y principios de gobierno del dato.
- Será valorable contar con experiencia en Feature Store, dbt, Airflow/Dagster, proyectos de movilidad, flotas o IoT, así como certificaciones AWS o Databricks.
Si te interesa trabajar en un proyecto internacional donde Data Engineering es una pieza fundamental para construir soluciones de IA escalables, ¡nos encantará conocerte!