Engenheiro(a) de Dados Sênior(Google Cloud)

A Leega é uma empresa focada no atendimento eficiente e inovador em seus clientes.

Isso não poderia ser diferente com o nosso principal combustível: as pessoas!

Nossa cultura é inspiradora e nossos valores estão presentes no dia a dia: ética e transparência, excelência de qualidade, trabalho em equipe, responsabilidade econômica, social e ambiental, relações humanas e credibilidade.

Buscamos profissionais inovadores que sejam movidos por desafios e focados em resultados.

Se você busca uma empresa dinâmica e parceira e que investe em seus colaboradores através de capacitação constante, a Leega é o lugar para você!

>> A LEEGA É PARA TODOS, ficaremos muito felizes em ter você em nosso time. Venha fazer parte da nossa história e da construção do nosso futuro.

Cadastre-se agora mesmo em nossas vagas!

Buscamos um Engenheiro(a) de Dados Sênior para atuar de forma presencial em um projeto estratégico de migração de plataforma de dados em uma instituição financeira de grande porte. O projeto é a migração de uma plataforma de dados de grande porte, hoje em Cloudera na AWS, para o Google Cloud, no modo lift and shift: cerca de 13 mil jobs Spark e PySpark, 2,5 PB de dados, streaming com CDC, centenas de modelos de Machine Learning e frameworks proprietários de ingestão e processamento, em 9 meses de migração por ondas mensais, seguidos de 3 meses de pós implantação.

Principais responsabilidades

• Operar os aceleradores da Leega no dia a dia: conversão assistida por IA, regras da fábrica, testes de paridade e evidências.
• Conduzir a conversão e a implantação de jobs Spark e PySpark, SQL de Hive e Impala e fluxos de streaming no Google Cloud.
• Garantir a comparação automática entre legado e destino e conduzir o reprocessamento de ondas quando necessário.
• Resolver casos técnicos complexos e apoiar a adaptação dos frameworks proprietários do cliente.
• Definir e manter padrões de código, revisão em pares e esteiras de CI/CD (GitLab CI). Traduzir dúvidas de regra de negócio entre especialistas do cliente e os times de engenharia.
• Apoiar o Gerente de Projetos e o Scrum Master na estimativa, no planejamento das ondas e no acompanhamento do ritmo.

Requisitos obrigatórios

• Mínimo 5 anos de experiência em engenharia de dados.
• Experiência mínima de 3 a 4 anos com Google Cloud (Dataproc, BigQuery, Cloud Storage, Composer). Domínio de Spark e PySpark e de SQL avançado.
• Experiência com ecossistema Hadoop (Hive, Impala, HDFS), preferencialmente em Cloudera. Experiência em projetos de migração de dados ou de plataformas de dados.
• Experiência com versionamento e CI/CD (Git, GitLab CI ou similares).