Solid Company
Remote Senior Big Data Engineer - PySpark, Spark, Kubernetes
Remote Senior Big Data Engineer (Poland) building and optimizing Spark-based big data pipelines and Kubernetes-backed projects for enterprise and public-sector clients. Core stack: Python/Scala/Java, Apache Spark, Iceberg, SQL, Docker, Kubernetes, Linux.
- Compensation
- Not disclosed
- Location
- Poland
- Work setup
- Not specified
- Seniority
- Senior
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- 5+ years of experience in Scala/Python/Java
- Experience with Apache Spark
- Experience with Apache Iceberg
- Python skills
- SQL skills
- Linux skills
- Docker skills
- Kubernetes skills
- Experience in data integrations and optimization
Full description
Kim jesteśmy
Lumicode Sp. z o.o. należy do Grupy Pentacomp, która jest producentem rozwiązań informatycznych i dostawcą profesjonalnych usług IT dla dużych przedsiębiorstw i sektora publicznego.
Jako Pentacomp tworzymy rozwiązania IT łączące innowacyjność z latami doświadczeń - a ich mamy całkiem sporo. Istniejemy na rynku prawie 30 lat i możemy pochwalić się wieloma zrealizowanymi projektami.
- Praca zdalna;
- Stawka do 130 pln/h netto + VAT B2B;
- Skorzystanie z karty sportowej oraz możliwość skorzystania z prywatnej opieki zdrowotnej;
- Praca od zaraz;
- Szybki proces rekrutacyjny.
Zakres obowiązków:
- Tworzenie i optymalizacja rozwiązań bazujących na języku Python.
- Praca w środowisku Kubernetes, w tym z wykorzystaniem Spark Operator, Jupyter oraz Airflow.
- Tworzenie rozwiązań Big Data z wykorzystaniem Apache Spark / PySpark.
- Techniczne wsparcie testów w obszarze testów jednostkowych, integracyjnych oraz UAT.
- Dokumentowanie kodu oraz przepływu danych.
Kogo poszukujemy?
- Minimum 5 lat praktycznego doświadczenia w programowaniu w językach Scala, Python lub Java.
- Komercyjne doświadczenie w realizacji projektów związanych z systemami rozproszonymi.
- Minimum 3 lata doświadczenia w pracy z rozwiązaniami klasy Big Data, w szczególności Apache Spark oraz Apache Iceberg.
- Doświadczenie komercyjne w zakresie optymalizacji przetwarzania dużych zbiorów danych.
- Doświadczenie w projektach związanych z integracją systemów realizowaną na dużą skalę.
- Doświadczenie w pracy z relacyjnymi bazami danych (RDBMS) oraz bardzo dobra znajomość SQL.
- Praktyczna znajomość środowiska Linux oraz języków skryptowych.
- Doświadczenie w zakresie konteneryzacji, w tym modyfikacji Dockerfile, oraz znajomość podstaw Kubernetes.