Vacancy Senior Data Engineer (Overheid) (Brussel)
Senior Data Engineer building an on-premise Data Exchange Platform for the Belgian Ministry of Defense: designing ingestion pipelines, medallion-architecture (Bronze/Silver/Gold) transformations with dbt and Delta Lake, data governance/lineage, and BI data endpoints. Belgian nationality is required; the role is based in Brussels.
- Compensation
- Not disclosed
- Location
- Belgium
- Work setup
- Not specified
- Seniority
- Senior
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Belgian nationality (mandatory due to the nature of the activities)
- Mastery of Python
- Mastery of SQL
- Confirmed experience with dbt-core (models, snapshots, macros, tests, profiles)
- Good knowledge of DuckDB as an embedded analytical query engine
- Experience with Delta Lake (ACID transactions, time travel, OPTIMIZE/VACUUM)
- Knowledge of relational databases: MSSQL, PostgreSQL (advanced SQL, CDC)
- Experience with a data orchestrator: Dagster, Airflow or equivalent
- Comfortable with Linux/OpenShift and notions of PowerShell (Windows dev environment)
- Familiarity with governance tools: DataHub, OpenMetadata or equivalent
- Experience in BI development
- Rigor and autonomy in managing complex multi-domain pipelines
- Ability to document technical decisions and explain them to non-technical stakeholders
- Team spirit, curiosity and solution-oriented mindset
Nice to have
- Experience with Kafka/Debezium for real-time data capture
- Knowledge of Spark (Spark SQL, Thrift Server, Beeline)
- Experience with Power BI Report Server (PBIRS) or Apache Superset
- Awareness of data security in restricted-access environments
- Knowledge of Lakehouse concepts (Medallion architecture), DWH and Datalake
Full description
Dans le cadre du programme DEP (Data Exchange Platform), nous construisons une plateforme de données on-premise pour le Ministère de la Défense Belge. La plateforme doit répondre à des exigences strictes de sécurité, de gouvernance et de souveraineté des données.
Vous rejoindrez la Sierra Team et travaillerez aux côtés d'un Data Architect, d'un Solution Architect et un BI developer.
Vos missions principales
Ingestion & pipelines de données
- Concevoir et déployer des pipelines d'ingestion depuis des sources hétérogènes : fichiers , APIs, bases relationnelles.
- Implémenter des pipelines pour l'ingestion incrémentale et en streaming.
- Assurer la fiabilité, l'idempotenceet la traçabilité de chaque pipeline.
Transformation & couche sémantique
- Développer les modèles de transformationsur les couches Bronze, Silver et Gold. (Architecture medallion)
- Implémenter les bonnes pratiques d'historisations de données (ex: SCD2, upsert, append only,...).
- Développer les exports vers Delta Lake
- Gérer et maintenir les tables Delta Lake.
- Garantir la cohérence transactionnelle des données dans un environnement multi-domaines.
- Implémenter et maintenir les assests à orchestrer.
- Monitorer les runs, gérer les erreurs et automatiser les alertes.
Gouvernance & lignage
- Pousser les métadonnées techniques et business vers la plateforme de data.
- Maintenir le lignage de bout en bout.
- Contribuer à la rédaction des DUA, SLA et documents de gouvernance associés.
Exposition des données
- Développer des endpoints pour exposer la couche Gold aux Dashboards BI.
- Collaborer avec les équipes reporting pour l'alimentation des dashboards BI
Profil recherché
Compétences techniques requises
- Maîtrise de Python
- Maîtrise du SQL
- Expérience confirmée avec dbt-core (modèles, snapshots, macros, tests, profils).
- Bonne connaissance de DuckDB comme moteur de requête analytique embarqué.
- Expérience avec Delta Lake (transactions ACID, time travel, OPTIMIZE/VACUUM, ...).
- Connaissance des bases relationnelles : MSSQL, PostgreSQL (SQL avancé, CDC).
- Expérience avec un orchestrateur de données : Dagster, Airflow ou équivalent.
- À l'aise sur Linux/OpenShift et ing PowerShell (Windows dev environment).
- Familiarité avec les outils de gouvernance : DataHub, OpenMetadata ou équivalent.
- Expérience dans le développement BI.
Compétences appréciées