Medior Data Engineer
Fugro, a global geo-data company, seeks a Medior Data Engineer to build and maintain cloud-native batch and streaming pipelines on its Databricks lakehouse platform. Day to day: translating business needs into data products, developing PySpark/Spark SQL transformations, and ensuring data quality, governance and reliability.
- Compensation
- Not disclosed
- Location
- Netherlands
- Work setup
- Hybrid
- Seniority
- Middle
- Employment
- Full time
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- 3-6 years of experience as a Data Engineer or similar, delivering production-ready cloud data pipelines
- Hands-on experience with (Apache Spark on) Databricks
- Strong Python and SQL skills
- Experience building reliable batch and/or streaming data pipelines
- Experience with at least one major cloud environment (AWS, Azure or GCP), including cloud storage and security concepts
- Familiarity with lakehouse principles, Delta Lake and incremental processing patterns
- Knowledge of data governance concepts such as catalogs, authorizations, lineage and data contracts
- Experience with common data ingestion patterns (files, APIs, databases) balancing reliability, performance and cost
- Clear communication and effective collaboration with engineers, analysts and business stakeholders
Nice to have
- Experience with Unity Catalog
Full description
Job Description
Fugro is wereldwijd marktleider op het gebied van Geo-data en bouwt aan een modern cloudgebaseerd lakehouse-platform op Databricks. Hiermee ontsluiten we hoogwaardige, goed beheerde data op grote schaal. Terwijl we onze digitale transformatie versnellen, zijn we op zoek naar een Medior Data Engineer die energie krijgt van het begrijpen van businessvraagstukken, samenwerken met stakeholders, het ontwerpen en bouwen van datasolutions, het ontwikkelen van betrouwbare cloud data pipelines, het creëren van vertrouwde datasets en het mogelijk maken van analytics en AI binnen de organisatie.
Je werkt nauw samen met engineering-, analytics-, data science- en domeinteams om robuuste dataprodukten te leveren die de wereldwijde operatie van Fugro ondersteunen.
Jouw rol
- Je werkt samen met stakeholders om hun uitdagingen, doelstellingen en gewenste resultaten te begrijpen en vertaalt businessbehoeften naar datasolutions en dataprodukten;
- Je ontwerpt, bouwt en onderhoudt cloud-native batch- en streamingpipelines op Databricks met behulp van Lakeflow, Delta Lake en orchestration tools;
- Je implementeert de medallion-architectuur (bronze/silver/gold) om betrouwbare en goed presterende datasets te leveren;
- Je ontwikkelt datatransformaties in PySpark en Spark SQL en helpt bij het standaardiseren van herbruikbare engineeringpatronen;
- Je neemt eigenaarschap over datakwaliteit, observability en operationele betrouwbaarheid door middel van validatie, monitoring, alerting en runbooks;
- Je werkt met Unity Catalog om goed beheerde toegang, documentatie en data lineage te waarborgen;
- Je vertaalt analytische en businessvereisten naar schaalbare en pragmatische datasets die BI, analytics en AI ondersteunen;
- Je draagt bij aan engineering best practices, waaronder code reviews, testmethodieken, CI/CD en kostenefficiënt cloudgebruik;
- Je werkt nauw samen met platform-, analytics- en domeinteams om end-to-end productieklare dataprodukten op te leveren.
Jouw profiel
- Je hebt 3 tot 6 jaar ervaring als Data Engineer of vergelijkbare ervaring met het realiseren van productieklare cloud data pipelines;
- Je hebt hands‑on ervaring met (Apache Spark op) Databricks;
- Je beschikt over sterke Python‑ en SQL‑vaardigheden;
- Je hebt ervaring met het bouwen van betrouwbare batch‑en/of streaming data pipelines;
- Je hebt gewerkt binnen minimaal één grote cloudomgeving (AWS, Azure of GCP) en begrijpt concepten rondom cloudopslag en beveiliging;
- Je bent bekend met lakehouse‑principes, Delta Lake en incrementele verwerkingspatronen;