NoeXa - IT Solutions
Data Engineer - Databricks
Hybrid (1–2 days/week onsite in Lisbon) Data Engineer role building and optimizing data pipelines, architectures and datasets, doing root-cause analysis, and writing advanced SQL/PL-SQL across Oracle, SQL Server, PostgreSQL, Athena and Databricks, with Azure/AWS cloud services and PowerBI.
- Compensation
- Not disclosed
- Location
- Portugal
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Experience creating and optimizing data pipelines, architectures and datasets
- Experience performing root-cause analysis on data and internal/external processes
- Build processes supporting data transformation, data structures, metadata, dependency and workload management
- Experience manipulating, processing and extracting value from disconnected datasets
- Advanced SQL and PL-SQL: query authoring for analysis across Oracle, MS SQL Server, MySQL, PostgreSQL, AWS Athena, Databricks
- Experience with object-oriented/scripting languages such as Python, Java, C++, Scala
- Track and monitor the production cycle of data pipeline executions
- Experience with Azure (ADLS, Databricks) and/or AWS cloud services (EC2, EMR, RDS, Redshift, Lambda, Azure Functions)
- Familiarity with data visualization tools such as PowerBI
- Bachelor's degree in Engineering, Computer Science or related field
- Education/training in Information Technologies or similar
- Analytical mind with problem-solving capability
- Good communication skills and collaboration with multidisciplinary teams
- Proactive approach to identifying problems and improvement actions
Full description
Modelo - Híbrido: 1 ou 2 dias por semana. Local: Lisboa
Competências Técnicas:
- Experiência na criação e otimização de pipelines de dados, arquiteturas e conjuntos de dados;
- Experiência na realização de análise de causa raiz em dados e processos internos e externos para responder a questões específicas de negócio e identificar oportunidades de melhoria;
- Criar processos que suportem a transformação de dados, estruturas de dados, metadados, dependência e gerenciamento de carga de trabalho;
- Experiência em manipulação, processamento e extração de valor de conjuntos de dados desconectados;
- Conhecimento avançado de trabalho com SQL e PL-SQL e experiência para atuação em: Autoria de consultas (SQL) em bancos de dados relacionais para análise e exploração de dados em diferentes fontes e interfaces, como Oracle, MS SQL Server, MySQL, PostgreSQL, AWS Athena, Databricks;
- Experiência com linguagens de script orientadas a objetos/funções de objetos: Python, Java, C++, Scala, etc.;
- Acompanhar e monitorar ciclo produtivo das execuções dos pipelines de dados;
- Experiência com Azure (ADLS, Databricks) e/AWS cloud services (EC2, EMR, RDS, Redshift, Lambda, Azure Functions);
- Familiaridade com ferramentas de visualização de dados como PowerBI.
Requisitos académicos:
- Licenciatura em Engenharia, Ciência da Computação, ou outra disciplina relacionada;
- Formação na área das Tecnologias de Informação, ou similar;
- Uma mente analítica com capacidade de resolução de problemas;
- Boa capacidade de comunicação, colaboração com equipas multidisciplinares e influir com as suas ideias;
- Uma abordagem proativa para identificar problemas e eventuais ações de melhoria.