Codest Ltd.
Data Engineer w/ Databricks
The Codest is hiring an experienced Data Engineer to design, build, and manage scalable data solutions on Databricks for a banking application serving a leading Japanese financial group. Day-to-day work centers on Python/PySpark, SQL, Delta Lake, Unity Catalog, ETL/ELT pipelines, and AWS services.
- Compensation
- Not disclosed
- Location
- Warszawa, Poland
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- 6+ years of data engineering experience
- Proficiency in Python, PySpark and SQL
- Experience with Medallion Architecture (Bronze, Silver, Gold)
- Experience with AWS (Glue, Lambda, Redshift, S3)
- Experience with Unity Catalog and Delta Lake
- Communicative English
Nice to have
- Databricks Certified Professional Data Engineer certification
- Experience with Docker and Kubernetes
Full description
DATA ENGINEER z DATABRICKS
Dołącz do The Codest i pracuj nad aplikacją bankową dla jednej z wiodących grup finansowych w Japonii. Szukamy doświadczonego Databricks Engineer do projektowania, budowania i zarządzania skalowalnymi rozwiązaniami danych.
Twoje obowiązki:
- Doświadczenie z Medallion Architecture (Bronze, Silver, Gold)
- Budowa frameworków jakości danych z automatycznym testowaniem
- Implementacja funkcji Delta Lake (time travel, vacuum, Z-ordering)
- Tworzenie i utrzymanie złożonych pipeline'ów ETL/ELT
- Projektowanie CI/CD dla pipeline'ów danych
- Optymalizacja zadań Spark
Kluczowe wymagania:
- 6+ lat doświadczenia w data engineering
- Biegłość w Python, PySpark i SQL
- Doświadczenie z AWS (Glue, Lambda, Redshift, S3)
- Doświadczenie z Unity Catalog i Delta Lake
- Komunikatywny angielski
Mile widziane:
- Certyfikat Databricks Certified Professional Data Engineer
- Doświadczenie z Docker i Kubernetes