Data Engineer ICT BRM ICT & Big Data
Data Engineer at Infrabel, the Belgian railway infrastructure manager, working in the BRM ICT & Big Data team to build reusable data services for rail asset digitalization. Day to day: integrating and validating data, developing Elasticsearch search solutions, Kafka real-time pipelines, Cloudera platform work, and documentation in Confluence.
- Compensation
- Not disclosed
- Location
- Not listed
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Internship
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Master in Informatics, Data Engineering or equivalent experience
- Several years of relevant experience as a Data Engineer or similar role
- Very good knowledge of Elastic Search (absolute requirement)
- Experience with Kafka
- Experience with Cloudera
- Experience with Confluence
- Strong knowledge of databases, data integration and data architecture
- Good knowledge of SQL and preferably Python
- Fluent in Dutch or French with functional knowledge of the other national language, plus technical English
Nice to have
- Experience with Power BI
- Experience with cloud and platform environments
Full description
DE JOB
Data speelt een cruciale rol in de toekomst van het spoor. Binnen I-ICT werk je mee aan de digitalisering van de volledige levenscyclus van spoorwegassets en help je Infrabel om data om te zetten in concrete inzichten en performante digitale oplossingen.
Ben jij een ervaren Data Engineer met een grondige expertise in Elastic Search? Heb je daarnaast al gewerkt met technologieën zoals Kafka, Cloudera en Confluence? Dan ben jij misschien de collega die we zoeken.
Je werkt binnen Directie ICT.415 en rapporteert aan de Team Lead.
Jouw taken:
Als Data Engineer maak je deel uit van het team BRM ICT & Big Data. Dit team ontwikkelt en beheert herbruikbare datadiensten die de businessdomeinen van Infrabel ondersteunen bij hun digitale transformatie.
Je werkt mee aan oplossingen rond onder andere cartografie, geolokalisatie, vlootbeheer, patrimoniumbeheer en toekomstige AI-toepassingen.
Je belangrijkste verantwoordelijkheden:
- Data uit diverse bronsystemen samenbrengt, transformeert, integreert en valideert zodat gebruikers steeds beschikken over correcte, volledige en actuele informatie.
- Data voorbereidt voor analyse, rapportering en operationele toepassingen, met een sterke focus op automatisatie, performantie en herbruikbaarheid.
- Datamodellen, databanken en opslagstructuren ontwikkelt, onderhoudt en optimaliseert om een efficiënte en betrouwbare gegevensverwerking te garanderen.
- Een sleutelrol opneemt in het ontwerp, beheer en de optimalisatie van zoekoplossingen op basis van Elastic Search. Je bouwt performante indexerings-, zoek- en monitoringmechanismen uit en zorgt ervoor dat data snel, efficiënt en gebruiksvriendelijk toegankelijk is.
- Werkt met realtime datastromen en data pipelines via Kafka om gegevens op een betrouwbare en schaalbare manier te verwerken.
- Bijdraagt aan de verdere ontwikkeling en optimalisatie van het dataplatform binnen de Cloudera-omgeving.
- Technische documentatie, procedures, data dictionaries en architectuurdocumenten opstelt en onderhoudt in Confluence, zodat kennis en expertise breed gedeeld worden binnen de organisatie.
- De data-architectuur en gebruikte opslagtechnieken kritisch evalueert en samen met stakeholders voorstellen uitwerkt om processen verder te automatiseren, vereenvoudigen en toekomstbestendig te maken.
- Monitoring voorziet op de gegevensstromen en optreedt als expert bij incidenten of verstoringen, zodat de continuïteit en kwaliteit van de dienstverlening gegarandeerd blijven.