Engenheiro(a) de dados sr
Senior Data Engineer at Midas, a Brazilian company that builds GRC (governance, risk & compliance) software, based in Ribeirão Preto. You'll evolve and operate the company's data platform: Python/SQL ingestion pipelines, dbt-trino models over Delta Lake, Airflow orchestration, and Lakehouse performance/cost tuning with Docker and Kubernetes.
- Compensation
- Not disclosed
- Location
- Ribeirão Preto, Brazil
- Work setup
- Not specified
- Seniority
- Senior
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Solid experience with Python (pipelines, data processing, pandas/polars or similar)
- Advanced SQL (CTEs, window functions, tuning)
- Hands-on Apache Airflow experience in production
- Experience with dbt (incremental models, tests, macros)
- Experience with Lakehouse architecture (Delta Lake or Apache Iceberg) and distributed SQL engines (Trino/Presto or Spark SQL)
- Day-to-day experience with Docker, Kubernetes and Git (deploy, troubleshooting, log analysis, resource allocation)
- Ability to diagnose problems end-to-end and document technical decisions
Nice to have
- AWS ecosystem knowledge (S3, ECR, IAM, EKS or equivalents in other clouds)
- Experience with Delta-rs/deltalake, PySpark/Spark or Apache Kafka/CDC
- Experience with Apache Superset (or other BI tools) and notions of dimensional modeling (star schema)
Full description
A Midas é especialista em desenvolver soluções focadas em resolver desafios dos processos de GRC, (Governança, Risco e Compliance) com excelência, devolvendo tempo de qualidade para os nossos clientes. Tempo para viver, criar e desbloquear todo potencial humano e criativo.
Se você está em busca de uma empresa inovadora, ousada e à frente do seu tempo, o seu lugar é aqui. Nosso propósito é criar um mundo onde a tecnologia nos permita ser mais humanos, automatizando tarefas repetitivas e liberando tempo para o que realmente importa: a vida.
Propósito da vaga:
Você será responsável por evoluir e operar a plataforma de dados da empresa, garantindo escalabilidade, performance, segurança, qualidade e confiabilidade no processamento e na disponibilização de dados.
Atividades e Responsabilidades:
- Desenvolver e manter pipelines de ingestão e transformação a partir de fontes variadas.
- Modelar e manter projetos dbt (dbt-trino) sobre tabelas Delta Lake.
- Implementar e orquestrar workflows no Apache Airflow 3.
- Manter a saúde do Lakehouse, otimizando consultas, pipelines e infraestrutura com foco em performance, escalabilidade e redução de custos.
- Investigar incidentes, identificar a causa-raiz (dado, pipeline ou infraestrutura) e implementar correções estruturais.
- Implementar práticas de governança, qualidade e monitoramento de dados, garantindo a confiabilidade das entregas para BI.
- Trabalhar em conjunto com as equipes de Desenvolvimento, BI e Negócio para transformar regras operacionais em dados confiáveis e documentados.
Competências técnicas:
- Experiência sólida com Python (pipelines, tratamento de dados, pandas/polars ou similar) e SQL avançado (CTEs, window functions, tuning).
- Experiência prática com Apache Airflow em ambiente de produção.
- Experiência com dbt (modelos incrementais, testes, macros).
- Vivência com arquitetura Lakehouse (Delta Lake ou Apache Iceberg) e motores SQL distribuídos (Trino/Presto ou Spark SQL).
- Experiência prática com Docker, Kubernetes e Git no dia a dia (deploy, troubleshooting, análise de logs e alocação de recursos).
- Capacidade de diagnosticar problemas de ponta a ponta e documentar decisões técnicas.
Será um diferencial:
- Conhecimentos em ecossistema AWS (S3, ECR, IAM, EKS ou equivalentes em outras clouds).
- Experiência com Delta-rs/deltalake, PySpark/Spark ou Apache Kafka/CDC.
- Vivência com Apache Superset (ou outras ferramentas de BI) e noções de modelagem dimensional (star schema).
E aí, se identificou com essa oportunidade?
Junte-se a nós e faça parte de um time que valoriza inovação, superação e entusiasmo.