Senior Data Engineer / Spark Developer
Senior Data Engineer / Spark Developer joining a Data Platform team to design and build data reconciliation, quality, and Data Lakehouse (Raw/Bronze/Silver/Gold) solutions using Apache Spark (PySpark/Spark SQL), MongoDB, and Apache Iceberg. Also handles CI/CD (Jenkins), Docker/Kubernetes deployments, and Prometheus/Grafana monitoring; hybrid with 1–2 office days per week in Wrocław.
- Compensation
- Not disclosed
- Location
- Wrocław, Poland
- Work setup
- Not specified
- Seniority
- Senior
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Minimum 4 years of commercial experience with Apache Spark
- Very good knowledge of PySpark, Spark SQL, DataFrame API and Structured Streaming
- Experience integrating Apache Spark with MongoDB using the MongoDB Spark Connector
- Practical knowledge of Apache Iceberg and managing versioned data tables
- Experience building Data Lake or Data Lakehouse solutions
- Good knowledge of Python
- Experience with Jenkins and building CI/CD pipelines
- Knowledge of monitoring and observability tools, especially Prometheus and Grafana
- Experience working with Agile methodologies (Scrum or Kanban)
- Practical knowledge of Jira and Confluence
- Willingness to work from the Wrocław office 1–2 days per week
Nice to have
- Experience with Delta Lake or Apache Hudi
- Knowledge of Kubernetes, Docker and Spark Operator
- Experience with OpenTelemetry or Dynatrace
- Knowledge of Data Quality, Data Governance and Data Observability
- Experience with cloud environments (Azure, AWS, GCP)
Full description
O projekcie
Do zespołu Data Platform poszukujemy doświadczonego Spark / Data Lakehouse Developera, który będzie odpowiedzialny za projektowanie i rozwój rozwiązań do przetwarzania, synchronizacji oraz rekoncyliacji danych w środowisku Big Data. Osoba na tym stanowisku będzie współtworzyć nowoczesną architekturę Data Lakehouse opartą o Apache Spark, MongoDB oraz Apache Iceberg, dbając o jakość, wydajność i niezawodność procesów danych.
Zakres obowiązków
- Projektowanie i implementacja procesów rekoncyliacji danych w Apache Spark (PySpark, Spark SQL).
- Porównywanie danych pomiędzy warstwą ODS (MongoDB) a systemami źródłowymi oraz identyfikowanie rozbieżności.
- Tworzenie i rozwój reguł jakości danych, wykrywanie braków, duplikatów oraz anomalii.
- Budowa i utrzymanie warstw Data Lakehouse w modelu Raw / Bronze / Silver / Gold.
- Praca z Apache Iceberg i zarządzanie wersjonowanymi zbiorami danych.
- Optymalizacja wydajności procesów Spark oraz kosztów przetwarzania danych.
- Tworzenie i rozwijanie pipeline'ów CI/CD dla aplikacji Spark.
- Implementacja monitoringu, metryk i alertowania dla procesów danych.
- Automatyzacja wdrożeń z wykorzystaniem Docker, Kubernetes oraz Spark Operator.
- Analiza i rozwiązywanie problemów związanych z jakością, spójnością i dostępnością danych.
- Tworzenie dokumentacji technicznej, diagramów architektury oraz runbooków.
- Współpraca z Data Engineerami, DevOps Engineerami, Analitykami Biznesowymi i zespołami produktowymi.
- Udział w code review oraz mentoring mniej doświadczonych członków zespołu.
Wymagania
- Minimum 4 lata doświadczenia komercyjnego w pracy z Apache Spark.
- Bardzo dobra znajomość PySpark, Spark SQL, DataFrame API oraz Structured Streaming.
- Doświadczenie w integracji Apache Spark z MongoDB przy wykorzystaniu MongoDB Spark Connector.
- Praktyczna znajomość Apache Iceberg oraz zarządzania wersjonowanymi tabelami danych.
- Doświadczenie w budowie rozwiązań Data Lake lub Data Lakehouse.
- Dobra znajomość języka Python.
- Doświadczenie z Jenkins oraz budową pipeline'ów CI/CD.
- Znajomość narzędzi monitoringu i observability, w szczególności Prometheus oraz Grafana.
- Doświadczenie w pracy zgodnie z metodykami Agile (Scrum lub Kanban).
- Praktyczna znajomość Jira i Confluence.
Gotowość do pracy z biura 1-2 dni w tygodniu (Wrocław)
Mile widziane
- Doświadczenie z Delta Lake lub Apache Hudi.
- Znajomość Kubernetes, Docker oraz Spark Operator.
- Doświadczenie w pracy z rozwiązaniami OpenTelemetry lub Dynatrace.
- Znajomość zagadnień Data Quality, Data Governance oraz Data Observability.