Data Engineer
Senior data engineer embedded in the Business Intelligence team of the Dutch Ministry of Foreign Affairs (BZ) in Den Haag, developing, maintaining and optimizing data pipelines and the enterprise data warehouse on Databricks/Microsoft Azure using Python and SQL, with deployment via DevOps pipelines. A ~6-month interim assignment (36h/week, extendable) staffed via SLTN; applicants must supply an ho
- Compensation
- Not disclosed
- Location
- Not listed
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Internship
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Experience with networking, specifically in relation to Databricks and Microsoft Azure
- Up to date with latest insights on setting up and securing Azure resources such as Databricks
- Extensive knowledge of Python and SQL
- Relevant senior data engineering experience on the Microsoft Azure platform
- Excellent communication skills in Dutch (spoken and written)
Nice to have
- Experience with CI/CD methodology and Azure DevOps
- Experience with Azure tools such as Azure DevOps, Data Factory and similar (streaming & batch)
- Familiar with enterprise data warehouse and BI-oriented architectures
- Experience with PowerShell
- Experience managing cloud services
- Experience managing visualization programs (such as Tableau)
- Knowledge of financial and/or HR processes, preferably within the Dutch national government
- Broad product knowledge of BI and data warehouse tools
- Experience with supplier/vendor management
- Knowledge and experience with SAP architecture
- Knowledge and experience with data management and governance
- Keeps up with the latest technologies in data engineering, data analytics and data warehousing
- Able to build support for the boundaries of data engineering
- Skill in developing, communicating and defending policy/business products, services and processes
- Skill in establishing, implementing and executing products, services, policy and processes
Full description
**For this assignment, we are looking for candidates who have excellent communication skills in Dutch (spoken and written)
Omschrijving**
Je speelt een centrale rol binnen het Business Intelligence Team van BZ.
Buitenlandse zaken heeft de ambitie door te groeien naar een informatie gestuurde, data-gedreven organisatie. Om dit te verwezenlijken loopt een diversiteit aan business intelligence & analytics (BIA) en data science projecten die grotendeels in elkaar verweven zijn. Ontwikkeling en beheer worden uitgevoerd door twee ontwikkel- en beheerteams onder aansturing van twee projectleiders.
De verschillende agile-scrum teams werken nauw samen met producteigenaren en opdrachtgevers vanuit verschillende afdelingen. Verschillende stakeholders, verschillende belangen, allemaal met als doel steeds beter en meer informatiegestuurd te kunnen werken voor een steeds grotere gebruikersgroep.
Je activiteiten gaan zich richten op het doorontwikkelen van het datawarehouse op basis van het Databricks platform. Uitgebreide kennis van python en sql is hiervoor van belang.
De volgende taken en resultaatgebieden worden onderkend
Ontwikkelt, onderhoudt en optimaliseert datapipelines voor specifieke informatieproducten.
Hiervoor wordt het Databricks platform gebruikt.
Ondersteunt, adviseert en stemt af met data analisten, infra engineer, visualisten, datascientists en BI-consultant (en informatiemanagers) betreffende informatieplanning en informatiestrategie
Werkt nauw samen met BI-consultants, datagebruikers, datascientists e.a. op in de hiervoor genoemde technieken, zodat ze in staat zijn om de data die ze nodig hebben te integreren en te gebruiken
Draagt er zorg voor dat de workloads gemanaged (deployment via devops pipelines) naar ontwikkeling en productie worden gebracht. Dit proces wordt door de data-engineer continu doorontwikkeld
De Data-engineer is verantwoordelijk voor het monitoren en signaleren van de meest recente ontwikkelingen van innovatieve en moderne tools, technieken en architectuur voor data-ontwikkeling en beheer
De data-engineer draagt zorg voor het zoveel mogelijk geheel of gedeeltelijk automatiseren van de laad- en verwerkingsprocessen
Draagt er samen met o.a. de datasteward zorg voor dat compliance-eisen en datagovernance worden verwerkt in de technische oplossing, zodat gebruikers (BI-consultants, data-scientists, datagebruikers) de data op een verantwoorde manier gebruiken
Denkt onafhankelijk en zet technologische kennis in om verschillende concepten te integreren zodat unieke oplossingen ontstaan (Innoveren)