Senior Data Engineer
Senior Data Engineer at Habber Tec, a data/AI and digital-transformation consultancy, modernizing enterprise data platforms: designing cloud-native architectures, building batch and streaming pipelines, and migrating legacy Cloudera/Hadoop estates to Snowflake or Databricks, mainly with Python, Spark, Kafka and Google Cloud. Office-based in central Lisbon.
- Compensation
- Not disclosed
- Location
- Portugal
- Work setup
- Not specified
- Seniority
- Senior
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Minimum 7 years of experience in Data Engineering or Software Engineering
- Strong Python experience in high-performance production environments
- Solid experience with Spark and PySpark
- Advanced knowledge of distributed systems and modern data architectures
- Experience with Apache Kafka or other streaming platforms
- Experience in data modeling
- Cloud experience, preferably Google Cloud Platform (BigQuery, Dataflow, Pub/Sub, Dataproc)
- Fluent English
- High sense of responsibility and autonomy
- Technical leadership capacity
- Strong analytical skills and complex problem-solving
- Good communication and collaboration skills
Nice to have
- Proven experience migrating Cloudera (CDH/HDP) platforms to Snowflake or Databricks
- Experience migrating Hive and Impala workloads
- Experience migrating HDFS data
- Refactoring legacy ETLs and modernizing data platforms
- Experience building greenfield data platforms from scratch
- Knowledge of Snowpipe, Snowpipe Streaming, Tasks and Streams
- Knowledge of Auto Loader, Delta Sharing and Unity Catalog
- Experience with Redis, Neo4j and NoSQL databases
- Knowledge of Airflow, dbt or Talend
- DevOps practices, Git and CI/CD experience
- Knowledge of Machine Learning and analytical workflows
Full description
A Habber Tec é uma organização com espírito de inovação e há mais de 20 anos a transformar o negócio de centenas de clientes na Europa, América e África. Como empresa internacional, somos especializados em Dados, Transformação Digital e Inteligência Artificial, incorporando a Cloud como peça estratégica do nosso negócio para alcançar a modernização tecnológica e a economia digital.
Os nossos clientes estão comprometidos com a inovação tecnológica para liderar os seus mercados e, por isso, o nosso principal objetivo é transformar os seus negócios através da tecnologia, melhorando processos e resultados. Projetamos, desenvolvemos e integramos soluções transformadoras para clientes de diversos setores, totalmente adaptadas às necessidades de cada organização.
Para apoiar o nosso crescimento, procuramos pessoas talentosas que queiram integrar um projeto com grande futuro na área dos Dados e Inteligência Artificial.
Senior Data Engineer para integrar um projeto de elevada complexidade tecnológica, focado na evolução e modernização de plataformas de dados empresariais.
Esta função terá um papel estratégico na conceção, implementação e migração de arquiteturas de dados modernas, contribuindo para iniciativas cloud-native e para a construção de plataformas escaláveis e orientadas a dados.
Responsabilidades
- Desenhar e implementar arquiteturas modernas de dados em ambientes cloud;
- Desenvolver e otimizar pipelines de dados batch e streaming;
- Participar em iniciativas de migração de plataformas legacy para soluções cloud-native;
- Construir e evoluir plataformas de dados baseadas em Snowflake ou Databricks;
- Desenvolver soluções de ingestão de dados através de APIs, CDC e streaming;
- Trabalhar com grandes volumes de dados estruturados e não estruturados;
- Garantir boas práticas de desenvolvimento, performance, observabilidade e escalabilidade;
- Colaborar com equipas multidisciplinares na definição de estratégias de dados.
Requisitos Obrigatórios
- Experiência mínima de 7 anos em Data Engineering ou Software Engineering;
- Forte experiência em Python em ambientes produtivos de elevada performance;
- Experiência sólida em Spark e PySpark;
- Conhecimentos avançados de sistemas distribuídos e arquiteturas modernas de dados;
- Experiência com Apache Kafka ou outras plataformas de streaming;
- Experiência em modelação de dados;
- Experiência em ambientes Cloud, preferencialmente Google Cloud Platform (BigQuery, Dataflow, Pub/Sub e Dataproc);
- Fluência em Inglês.
Requisitos Valorizados
- Experiência comprovada em migração de plataformas Cloudera (CDH/HDP) para Snowflake ou Databricks;