Data Engineer Databricks

NEORIS es un acelerador digital que ayuda a las empresas a entrar en el futuro, con 20 años de experiencia como socios digitales de algunas de las compañías más grandes del mundo. Contamos con más de 4,000 profesionales en 11 países, con nuestra cultura multicultural de startup donde cultivamos la innovación y el aprendizaje continuo para crear soluciones de alto valor para nuestros clientes.

Estamos buscando: Data Engineer Databricks Responsabilidades:

• Diseñar y desarrollar pipelines de datos de extremo a extremo en Databricks.
• Implementar arquitecturas Lakehouse siguiendo los patrones Bronze–Silver–Gold.
• Optimizar el procesamiento, almacenamiento, rendimiento y consumo de recursos.
• Implementar estándares de calidad, seguridad y gobernanza de datos.
• Automatizar despliegues mediante prácticas de CI/CD.
• Monitorear y resolver incidentes relacionados con pipelines y cargas de trabajo en producción.
• Participar en decisiones de arquitectura y en la definición de mejores prácticas.
• Trabajar de forma colaborativa con arquitectos, analistas, científicos de datos y equipos de negocio.

Requisitos:

Ingeniero de Datos con sólida experiencia en el diseño, desarrollo y optimización de soluciones de datos sobre Databricks, responsable de construir pipelines escalables y confiables para el procesamiento, transformación y publicación de datos. Debe contar con experiencia práctica en arquitecturas Lakehouse, integración de servicios en la nube y operación de cargas de trabajo en producción.

• Experiencia: 3–5+ años en Ingeniería de Datos, con al menos 2 años trabajando directamente con Databricks.
• Inglés intermedio/avanzado (conversacional)
• Modalidad hibrida (Reforma, CDMX)
• Databricks: Desarrollo y operación de notebooks, Jobs, Workflows y pipelines.
• Delta Lake / Lakehouse: Diseño de arquitecturas Bronze, Silver y Gold (Arquitectura Medallion).
• Apache Spark / PySpark: Procesamiento distribuido y optimización de cargas de trabajo.
• Tablas Delta: Gestión de MERGE, particionamiento, evolución de esquemas, OPTIMIZE y estrategias de rendimiento.
• Databricks Compute: Selección y configuración de clústeres, SQL Warehouses y Serverless de acuerdo con la carga de trabajo.
• Unity Catalog: Gobernanza, seguridad, permisos, catalogación y administración de objetos de datos.
• Ingesta y Transformación: Desarrollo de pipelines batch e incrementales; se desea experiencia con CDC y streaming.
• CI/CD para Databricks: Git, repositorios, entornos Dev/QA/Prod y automatización de despliegues.
• SQL avanzado y modelado de datos.
• Python / PySpark para transformación y procesamiento.
• Integración con servicios en la nube de Azure, AWS o GCP; idealmente experiencia profunda en al menos uno de ellos.

Deseables

• Experiencia con Azure Data Factory, ADLS Gen2, AWS S3/Glue o servicios equivalentes.
• Streaming con Kafka, Event Hubs o Structured Streaming.
• Terraform / Infraestructura como Código (Infrastructure as Code).
• dbt.
• Certificación Databricks Certified Data Engineer Associate o Professional.

Ofrecemos:

• Esquema 100% nominal
• Prestaciones de Ley
• Vales de despensa
• Beneficios adicionales
• Plan de Desarrollo Profesional
• Colaboración multicultural