Engenheiro(a) de Dados / DataOps

Requisitos

• 5+ anos de experiência na carreira
• Inglês avançado
• PostgreSQL
• Apache Flink
• Apache Airflow
• Terraform
• Apache Kafka
• Trino
• AWS
• Bitbucket
• Apache Iceberg
• Git

Conhecimentos Desejáveis

• CloudFormation
• Google Cloud Platform
• Ping Identity
• Redis
• DBT
• ArcadeDB
• Neo4j
• Ray
• AWS Glue
• Keycloak
• Dagster

Tarefas e Responsabilidades

Sobre a vaga

Buscamos um(a) Engenheiro(a) de Dados / DataOps para apoiar a implementação e evolução da plataforma de DataOps da área de Analytics.

Você será responsável por desenvolver, implantar e manter a infraestrutura necessária para execução de pipelines de dados em batch e em tempo real, além de projetar pipelines escaláveis, resilientes e observáveis.

Responsabilidades principais

• Apoiar a implementação e evolução da plataforma de DataOps da área de Analytics;
• Desenvolver, implantar e manter a infraestrutura para execução de pipelines de dados em batch e real time;
• Projetar e evoluir pipelines de dados escaláveis, resilientes e observáveis;
• Automatizar processos de infraestrutura utilizando Infrastructure as Code (IaC);
• Implantar e administrar workloads em ambiente AWS, preferencialmente com serviços gerenciados;
• Colaborar com os times de Analytics e Infraestrutura na definição de arquiteturas, padrões e boas práticas;
• Monitorar, otimizar e garantir disponibilidade, segurança e performance da plataforma de dados;
• Contribuir com propostas de melhoria contínua para arquitetura, ferramentas e processos.

Requisitos

• Graduação completa em Ciência da Computação, Engenharia, Tecnologia da Informação ou áreas afins;
• Experiência robusta com ambientes AWS;
• Conhecimento em arquitetura de plataformas de dados, observabilidade, automação e boas práticas de DataOps;
• Conhecimento em Infrastructure as Code, utilizando Terraform e/ou CloudFormation;
• Experiência sólida com query engines, como Trino;
• Bancos de dados relacionais, especialmente PostgreSQL;
• Ferramentas de streaming e processamento de dados em tempo real, como Apache Kafka e Apache Flink;
• Ferramentas de transformação de dados, como Glue e DBT;
• Arquiteturas baseadas em Data Lake/Lakehouse e formatos de tabela como Apache Iceberg;
• Orquestração de pipelines utilizando Dagster, Apache Airflow ou ferramentas similares;
• Versionamento com Git e Bitbucket.

Diferenciais

• Experiência com computação distribuída utilizando Ray;
• Bancos NoSQL ou especializados, como Redis;
• Experiência com bancos de dados de grafos, como Neo4j, ArcadeDB ou similares;
• Conhecimento em soluções de identidade e gerenciamento de acesso (Keycloak, Ping Identity ou similares);
• Experiência com estratégias de Disaster Recovery (DR) em ambientes multi-cloud;
• Experiência com Google Cloud Platform (GCP);
• Inglês avançado.