Senior Data Engineer
Senior Data Engineer develops and optimizes a modern Azure/Databricks data platform on a long-term project for a global cruise company — building ETL/ELT pipelines with Python, SQL, and Apache Spark, plus Delta Live Tables, Unity Catalog, Data Factory, and CI/CD on Azure DevOps. B2B contract, 100% remote, 145 PLN/h net.
- Compensation
- PLN 145 / hr
- Location
- Wrocław, Poland
- Work setup
- Remote
- Seniority
- Senior
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Experience as Data Engineer or Senior Data Engineer
- Very good knowledge of Python, SQL, and Apache Spark
- Practical experience with Microsoft Azure and Azure Databricks
- Knowledge of Azure Data Factory, Azure Data Lake, and Azure Synapse Analytics
- Experience designing and maintaining ETL/ELT processes
- Experience with Delta Live Tables (DLT) and Unity Catalog
- Knowledge of Lakehouse architecture
- Experience with CI/CD and Azure DevOps
- Knowledge of infrastructure automation, monitoring, and logging
- Ability to diagnose problems and optimize solutions processing large data volumes
- English at min. B2 level
Full description
Senior Data Enginner (Azure, Databricks) poszukiwany!
Dołącz do długoterminowego projektu realizowanego dla globalnej firmy z branży turystycznej, specjalizującej się w rejsach rzecznych, morskich i oceanicznych oraz wyprawach ekspedycyjnych. Klient zarządza rozbudowaną flotą i dużymi wolumenami danych wykorzystywanych w procesach operacyjnych, finansowych, raportowych i analitycznych. Poszukujemy doświadczonego Senior Data Engineera, który będzie rozwijać i optymalizować nowoczesną platformę danych opartą na technologiach Microsoft Azure i Databricks.
Stawka: 145 pln/h netto Współpraca: B2B 100% zdalnie
Twoje codzienne zadania:
- Projektowanie, rozwijanie i utrzymywanie skalowalnych rozwiązań do przetwarzania danych w środowisku Azure.
- Budowanie i optymalizacja procesów ETL/ELT z wykorzystaniem Python, SQL i Apache Spark.
- Rozwijanie rozwiązań opartych na Azure Databricks, Azure Data Factory, Azure Synapse Analytics i Azure Data Lake.
- Tworzenie i utrzymywanie przepływów danych oraz procesów orkiestracji, w tym rozwiązań Delta Live Tables (DLT).
- Wspieranie migracji i modernizacji platformy danych, w tym wdrażania Unity Catalog.
- Zapewnianie jakości, bezpieczeństwa, niezawodności i wysokiej wydajności przetwarzania danych.
- Diagnozowanie i rozwiązywanie problemów w środowisku produkcyjnym.
- Udział w automatyzacji infrastruktury, wdrażaniu CI/CD oraz monitorowaniu procesów.
- Optymalizacja potoków danych i kosztów infrastruktury.
- Współpraca z architektami danych, analtykami i zespołami biznesowymi przy projektowaniu rozwiązań technicznych.
- Wspieranie inicjatyw związanych z analityką, raportowaniem i AI/ML.
Must have:
- Doświadczenie na stanowisku Data Engineer lub Senior Data Engineer.
- Bardzo dobra znajomość Python, SQL i Apache Spark.
- Praktyczne doświadczenie z Microsoft Azure oraz Azure Databricks.
- Znajomość Azure Data Factory, Azure Data Lake i Azure Synapse Analytics.
- Doświadczenie w projektowaniu i utrzymywaniu procesów ETL/ELT.
- Doświadczenie w pracy z Delta Live Tables (DLT) i Unity Catalog.
- Znajomość architektury Lakehouse.
- Doświadczenie w pracy z CI/CD i Azure DevOps.
- Znajomość zagadnień związanych z automatyzacją infrastruktury, monitorowaniem i logowaniem.
- Umiejętność diagnozowania problemów i optymalizacji rozwiązań przetwarzających duże wolumeny danych.
- Angielski na poziomie min. B2