Datum
Pessoa analytics engineer sênior — foco em modularidade, camada semântica & qualidade (gcp)
Senior analytics engineer at Datum defining BigQuery SQL engineering standards: modular Dataform/dbt pipelines (SQL, JavaScript/TypeScript, Python), automated data quality via assertions and Write-Audit-Publish, and semantic layers/Data Marts powering self-service BI like Looker Studio with focus on performance, cost and KPI consistency.
- Compensation
- Not disclosed
- Location
- Brazil
- Work setup
- Not specified
- Seniority
- Senior
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data analytics
- Posted
Skills
Must have
- Advanced SQL on BigQuery (Window Functions/QUALIFY, UNNEST/ARRAY_AGG, procedural scripting)
- Modular transformation tools: Dataform (incl. JavaScript for dynamic SQL generation) and/or dbt (Jinja)
- Deep data modeling experience for cloud data warehouses (Kimball adapted, One Big Table, SCD Type 2, Partition Pruning, Clustering, incremental modeling)
- Experience integrating, cataloging and optimizing data sources for BI tools, especially Looker Studio and BI Engine
- Proven experience creating automated data tests (schema tests, referential integrity, volume/update anomaly detection)
Nice to have
- Experience migrating legacy pipelines (monolithic stored procedures / scheduled BigQuery queries) to modular Dataform/dbt architectures
- Knowledge of dedicated semantic layer tools (LookML/Looker, Cube, dbt Semantic Layer) or standardized metric design
- Experience with DAG lineage analysis to identify SLA bottlenecks and refactor circular/deep dependencies
Full description
Estamos buscando uma pessoa que ouse protagonizar com a gente. Responsabilidades e atribuições:
- Modularidade de Desenvolvimento: Definir e implementar os padrões de engenharia SQL no BigQuery utilizando Dataform (com desenvolvimento de pacotes/macros em JavaScript/TypeScript) e/ou dbt (Jinja/Python), estruturando camadas claras de transformação, reuso de código, modelagem dimensional/denormalizada eficiente (uso estratégico de STRUCT e ARRAY) e padrões estritos de cargas incrementais (incremental tables com merge/insert-overwrite por partição), evitando full-refreshes desnecessários e garantindo idempotência nos reprocessamentos.
- Qualidade de Dados Automatizada: Implementar frameworks de Data Quality (assertions no Dataform / Dataplex Auto Data Quality) e o padrão arquitetural Write-Audit-Publish (WAP) no BigQuery, garantindo que dados recém-processados sejam auditados e que anomalias, quebras de chave ou atrasos de SLA acionem Circuit Breakers e bloqueiem a propagação de dados corrompidos antes de serem expostos às views de consumo final.
- Padrões para Geração via IA: Estruturar os modelos e templates de transformação de excelência, mantendo um repositório de "Few-Shot Examples" (exemplos canônicos de Staging, Intermediate e Marts) perfeitamente documentados que servirão de contexto para o Antigravity gerar novos modelos de dados de forma padronizada.
- Camada Semântica e Self-Service: Trabalhar próximo às áreas consumidoras para desenhar camadas semânticas e Data Marts otimizados no BigQuery (via Views Autorizadas, Tabelas Agregadas e Materialized Views aceleradas pelo BI Engine) para ferramentas de visualização (especialmente Looker Studio), garantindo alta performance, baixo custo de leitura e consistência absoluta de KPIs mesmo em ferramentas que não possuem camada de modelagem centralizada nativa.
Requisitos e qualificações:
- Domínio absoluto de SQL avançado no BigQuery (Window Functions / QUALIFY, manipulação avançada de UNNEST / ARRAY_AGG, scripting procedural) e ferramentas modernas de transformação modular: Dataform (incluindo JavaScript para geração dinâmica de SQL) e/ou dbt (Jinja).
- Experiência profunda em modelagem de dados para Cloud Data Warehouses (Kimball adaptado para bancos colunares, One Big Table com campos aninhados RECORD/REPEATED, modelagem histórica Slowly Changing Dimensions - SCD Tipo 2, técnicas de Partition Pruning, Clustering em chaves de alta cardinalidade e modelagem incremental para redução de bytes escaneados e consumo de slots).
- Experiência com integração, catalogação e otimização de fontes de dados para ferramentas de BI, com destaque para Looker Studio e BI Engine (uso de Materialized Views, pré-agregações, gerenciamento de concorrência e prevenção de queries full-scan disparadas por filtros mal configurados no Looker Studio).
- Vivência comprovada na criação de testes automatizados de dados (schema tests, testes de integridade referencial, detecção de anomalias de volume e atualização).