Senior Databricks Data Engineer

Dla jednego z naszych Klientów (firma konsultingowo-finansowa), poszukujemy specjalisty na stanowisko Senior Databricks Data Engineer. Forma współpracy: kontrakt B2B. Stawka: 200-240 PLN/h. Tryb pracy: 100% zdalnie.

Proces rekrutacyjny: 3 etapy (screening + rozmowa wewnętrzna z Klientem + rozmowa w jęz. angielskim z Klientem końcowym).

Projekt międzynarodowy (klient Końcowy z USA) dotyczy środowiska Databricks i może obejmować zarówno nowe wdrożenie, jak i modernizację istniejących rozwiązań.

Twoje obowiązki:

• Unity Catalog - zarządzanie dostępem, konfiguracja, lineage tracking).
• projektowanie i optymalizacja pipeline’ów w PySpark i Delta Lake.
• wdrażanie Spark tuning (AQE, broadcast joins, partition pruning).
• integracja z narzędziami CI/CD (np. Azure DevOps).
• projektowanie i wdrażanie skalowalnej architektury danych typu lakehouse, z naciskiem na: przetwarzanie danych w czasie rzeczywistym i wsadowym & automatyzacja i standaryzacja procesów ETL/ELT.
• współpraca z zespołami biznesowymi i technicznymi, przekładanie wymagania na rozwiązania techniczne.
• prowadzenie dokumentacji technicznej i architektonicznej.
• wsparcie zespołów w analizie danych i optymalizacji procesów.

Wymagania:

• minimum 8 lat doświadczenia w pracy z danymi.
• bardzo dobra znajomość Azure Databricks.
• praktyczna znajomość PySpark, Delta Lake i architektury Lakehouse.
• doświadczenie z konfiguracją i zarządzaniem Unity Catalog.
• znajomość zagadnień optymalizacji Spark.
• doświadczenie z procesami ETL / ELT.
• doświadczenie w pracy z narzędziami CI/CD (Azure DevOps, Git).

Mile widziane:

Certyfikaty:

• Microsoft Certified: Azure Data Engineer Associate.
• Databricks Certified (np. Data Engineer, ML Professional).
• Znajomość Microsoft Fabric.

Mile widziane:

• doświadczenie z GCP lub innymi chmurami.
• znajomość Microsoft Fabric.
• doświadczenie w projektach międzynarodowych (np. USA).
• umiejętność prowadzenia rozmów technicznych z klientem.

Jesteś zainteresowany/a? Dołącz do nas!