Compass UOL
Databricks/Python Developer Senior | Remote
Senior remote developer building scalable data pipelines in Databricks (PySpark) to process and analyze large datasets. Works with Python, Pandas and ElementTree for XML data on Microsoft Azure, collaborating with data engineering and science teams on quality, monitoring and architecture best practices.
- Compensation
- Not disclosed
- Location
- Brasil
- Work setup
- Remote
- Seniority
- Senior
- Employment
- Not specified
- Experience
- Not specified
- Category
- Software engineering
- Posted
Skills
Must have
- Experience developing data solutions using Python
- Experience building and maintaining data pipelines with Databricks (PySpark)
- Experience processing, transforming and analyzing large volumes of data
- Experience manipulating and treating data with Pandas
- Knowledge of reading, processing and integrating XML data using Python ElementTree
- Experience with cloud platforms, especially Microsoft Azure
- Knowledge of data quality, integrity and monitoring practices
- Experience defining and implementing data engineering and architecture best practices
Nice to have
- Experience collaborating with Data Engineering, Analytics and Data Science teams
- Knowledge of pipeline performance optimization and distributed processing
- Familiarity with technical documentation of processes, pipelines and data solutions
Full description
- Projetar e desenvolver pipelines de dados escaláveis utilizando Databricks (PySpark) para processamento e análise de grandes conjuntos de dados;
- Colaborar com as equipes de engenharia e ciência de dados para entender os requisitos e fornecer soluções eficientes;
- Implementar transformações de dados complexas, limpeza de dados e agregações usando PySpark e otimizar o desempenho do código;
- Utilizar Python ElementTree para manipulação eficiente de dados XML e integração de dados heterogêneos;
- Desenvolver scripts em Python utilizando Pandas para manipulação e análise de dados estruturados;
- Garantir a qualidade e integridade dos dados, implementando práticas de teste e monitoramento;
- Colaborar na definição e implementação de melhores práticas de engenharia de dados e arquitetura de dados;
- Manter documentação técnica abrangente para os processos e soluções implementadas.
- Experiência no desenvolvimento de soluções de dados utilizando Python;
- Experiência em construção e manutenção de pipelines de dados com Databricks (PySpark);
- Vivência com processamento, transformação e análise de grandes volumes de dados;
- Experiência com manipulação e tratamento de dados utilizando Pandas;
- Conhecimento em leitura, processamento e integração de dados XML utilizando Python ElementTree;
- Experiência com plataformas de nuvem, especialmente Microsoft Azure;
- Conhecimento em práticas de qualidade, integridade e monitoramento de dados;
- Vivência na definição e implementação de boas práticas de engenharia e arquitetura de dados.
Desejáveis:
- Experiência na colaboração com times de Engenharia de Dados, Analytics e Ciência de Dados;
- Conhecimento em otimização de performance de pipelines e processamento distribuído;
- Familiaridade com documentação técnica de processos, pipelines e soluções de dados.
Benefícios
- Vale-alimentação e/ou vale-refeição;
- Plano de saúde e plano odontológico;
- Plano de saúde para o seu pet;
- Auxílio home office (para vagas remotas);
- Kit de boas-vindas no onboarding;
- Seguro de vida;
- Zenklub, com acompanhamento psicológico e nutricional;
- TotalPass;
- Programa de Certificações e Capacitação Contínua com parceiros (Adobe, Anthropic, AWS, Google, Microsoft, Salesforce);
- Parcerias e descontos para o seu desenvolvimento;
- Acesso ao conteúdo UOL;
- Kit maternidade;
- Licença maternidade e paternidade estendidas;
- Programa de indicações.