Engenheiro(a) de Dados Sênior | FinOps | Databricks | Cloud Cost

Buscamos uma pessoa Engenheira de Dados Sênior para atuar em uma Squad FinOps, desenvolvendo soluções de engenharia de dados voltadas à gestão, análise e otimização de custos de infraestrutura em nuvem.

A pessoa terá papel importante na construção e evolução de pipelines de dados de billing e telemetria, transformando grandes volumes de informações em dados confiáveis, rastreáveis e estruturados para análises financeiras, operacionais e estratégicas.

O desafio envolve trabalhar com dados de diferentes provedores de nuvem, estruturar modelos de custos, estabelecer critérios de alocação e rateio e garantir qualidade, governança e desempenho em uma plataforma de dados baseada em Databricks.

Responsabilidades e Atribuições:

• Desenvolver e manter pipelines de dados escaláveis para ingestão, transformação, consolidação e disponibilização de dados de billing e telemetria.

• Construir e evoluir arquiteturas Lakehouse utilizando as camadas Bronze, Silver e Gold.

• Modelar dados dimensionais para análises de custos, consumo, orçamento, tendências e otimização de recursos em nuvem.

• Integrar e tratar dados provenientes de serviços de billing, como AWS Cost and Usage Report (CUR), Azure Cost Management e Google Cloud Billing.

• Desenvolver regras de normalização de tags, hierarquias de contas e projetos, alocação de custos compartilhados e rateios.

• Implementar lógicas de amortização e distribuição de custos relacionados a Reserved Instances e Savings Plans.

• Construir e otimizar transformações utilizando Python, PySpark, Spark SQL e Delta Lake.

• Desenvolver consultas, tabelas e estruturas analíticas para consumo por Databricks SQL e dashboards em Lakeview.

• Implementar mecanismos de qualidade, reconciliação, testes e validação dos dados.

• Garantir governança, rastreabilidade e linhagem dos dados, considerando recursos como Unity Catalog.

• Participar da evolução dos processos de orquestração, versionamento, testes e CI/CD dos pipelines.

• Identificar gargalos de processamento e implementar melhorias de desempenho e custo em ambientes de alto volume.

• Trabalhar em conjunto com áreas técnicas, financeiras e de FinOps para transformar necessidades de negócio em soluções de dados confiáveis.

• Experiência sólida em Engenharia de Dados em nível sênior.

• Domínio de Python, PySpark, Apache Spark e SQL avançado.

• Experiência com Databricks e arquitetura Lakehouse.

• Conhecimento prático da arquitetura Medallion: Bronze, Silver e Gold.

• Experiência com Delta Lake e otimização de tabelas e consultas, incluindo particionamento, Z-Order e/ou Liquid Clustering.

• Experiência com construção e manutenção de pipelines de dados de grande volume.

• Experiência com modelagem dimensional, especialmente conceitos de Kimball.

• Capacidade de estruturar modelos analíticos consistentes para relatórios e tomada de decisão.

• Conhecimento de estratégias de transformação, consolidação e disponibilização de dados.

• Experiência com dados de billing de pelo menos um dos provedores: AWS, Azure ou GCP.

• Conhecimento de estruturas de custos e consumo de serviços de nuvem.

• Familiaridade com conceitos de precificação, incluindo On-Demand, Reserved Instances, Savings Plans, Spot, transferência de dados (egress) e camadas de armazenamento.

• Capacidade de implementar regras de tratamento, reconciliação, classificação e alocação de custos.

• Experiência com ferramentas de orquestração de pipelines, como Databricks Workflows, Lakeflow Pipelines (anteriormente Delta Live Tables/DLT), Airflow ou dbt, ou tecnologias equivalentes.

• Experiência com Git, versionamento e práticas de CI/CD aplicadas à engenharia de dados.

• Conhecimento de testes automatizados, validação de dados e monitoramento de pipelines.

• Familiaridade com práticas de implantação e gerenciamento de artefatos Databricks, como Databricks Asset Bundles, ou soluções equivalentes.

Diferenciais

• Conhecimento ou experiência com a especificação FOCUS (FinOps Open Cost and Usage Specification).

• Experiência com Unity Catalog, governança, controle de acesso e linhagem de dados.

• Experiência com dados de billing de múltiplos provedores de nuvem.

• Vivência em ambientes bancários, financeiros ou de alta criticidade operacional.

• Experiência com grandes volumes de dados e requisitos rigorosos de qualidade e rastreabilidade.