ictjob.be
Cegeka - Data Engineer
Cegeka is hiring a Data Engineer for a client in Antwerp to take technical ownership of a business-critical real-time data platform, keeping it stable, performant and scalable. Core stack: Elasticsearch, Databricks/Apache Spark, Kafka/Azure Event Hubs, with some TypeScript/Node.js backend work; hybrid with 2 days onsite.
- Compensation
- Not disclosed
- Location
- Belgium
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Technical ownership of the Elasticsearch environment (architecture, performance, scaling, troubleshooting)
- Responsibility for real-time data pipelines, guarding data quality, latency and completeness
- Proactive platform monitoring and analysis of performance issues, data gaps and production incidents
- Design and implement reliable changes including testing, monitoring and rollback strategies
- Build and productionize data workloads with Databricks and Apache Spark
- Work with streaming technologies such as Kafka and/or Azure Event Hubs
- Work on integrations between Elasticsearch, Databricks and the existing platform
- Hybrid regime: 2 days per week onsite in Antwerp
Nice to have
- Work in an existing TypeScript / JavaScript / Node.js backend where needed to analyze and fix issues end-to-end
Full description
Voor een klant in Antwerpen zijn we op zoek naar een Data Engineer die technische verantwoordelijkheid wil opnemen over een bedrijfskritisch real-time dataplatform.
Je komt terecht in een omgeving waar data dagelijks een belangrijke rol speelt. Je zorgt ervoor dat het platform stabiel, performant, schaalbaar en betrouwbaar blijft en dat gebruikers kunnen rekenen op correcte real-time data.
Jouw verantwoordelijkheden
- Technische ownership opnemen over de Elasticsearch-omgeving, inclusief architectuur, performance, scaling en troubleshooting
- Instaan voor de real-time data pipelines en waken over datakwaliteit, latency en volledigheid
- Proactief monitoren van het platform en analyseren van performanceproblemen, datagaps en productie-incidenten
- Ontwerpen en implementeren van betrouwbare wijzigingen, inclusief testing, monitoring en rollback-strategieën
- Verder uitbouwen van de real-time data-architectuur en API's
- Werken aan integraties tussen Elasticsearch, Databricks en het bestaande platform
- Bouwen en productioniseren van data workloads met Databricks en Apache Spark
- Werken met streamingtechnologieën zoals Kafka en/of Azure Event Hubs
- Waar nodig werken in een bestaande TypeScript / JavaScript / Node.js backend om problemen end-to-end te analyseren en oplossingen te implementeren
- Verbeteren van observability, scalability en maintainability en tegelijk de operationele complexiteit verlagen
Praktisch
- Locatie: Antwerpen
- Werkregime: hybride
- Onsite: 2 dagen per week in Antwerpen