HN Services Portugal
Data Engineer – Databricks, Python & Medallion Architecture
Data Engineer developing, implementing, and optimizing data pipelines with Python, PySpark, and Databricks, using Medallion (Bronze/Silver/Gold) architecture and ETL/ELT processes. Hybrid role based in Maia (Porto) with two mandatory on-site days per week.
- Compensation
- Not disclosed
- Location
- Portugal
- Work setup
- Hybrid
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Hands-on professional experience with Databricks in production
- Solid experience with Python and PySpark
- Practical experience implementing Medallion Architecture (Bronze/Silver/Gold)
- Experience developing and maintaining ETL/ELT pipelines
- Knowledge of SQL and data transformation
- Technical autonomy and problem-solving skills
- Mandatory availability for 2 on-site days per week in Maia
Nice to have
- Experience with Delta Lake and Lakehouse architectures
- Knowledge of CI/CD and pipeline automation
- Experience in performance optimization and data quality
Full description
- Desenvolver, implementar e otimizar pipelines de dados utilizando Python e PySpark.
- Trabalhar com Databricks no processamento, transformação e integração de dados.
- Desenvolver processos ETL/ELT, garantindo qualidade, consistência e performance dos dados.
- Colaborar com equipas técnicas na evolução de soluções de Data Engineering.
- Identificar e resolver problemas relacionados com pipelines e processamento de dados.
- Experiência profissional hands-on com Databricks em produção.
- Experiência sólida com Python e PySpark.
- Experiência prática na implementação de Medallion Architecture (Bronze/Silver/Gold).
- Experiência no desenvolvimento e manutenção de pipelines ETL/ELT.
- Conhecimentos de SQL e transformação de dados.
- Autonomia técnica e capacidade de resolução de problemas.
- Disponibilidade obrigatória para 2 dias presenciais por semana na Maia.
- Experiência com Delta Lake e arquiteturas Lakehouse.
- Conhecimentos de CI/CD e automatização de pipelines.
- Experiência em otimização de performance e qualidade de dados.
LOCALIZAÇÃO E REGIME
Maia, Porto | Híbrido — 2 dias presenciais por semana.