Data Engineer (GCP) [M/F]
Data Engineer joining a team that migrates a data quality monitoring solution from a legacy platform to GCP using BigQuery and dbt Core. Day to day: designing data pipelines and ETL/ELT processes, implementing data quality metrics in dbt Core, and building repositories to store and monitor check results.
- Compensation
- Not disclosed
- Location
- Poland
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Minimum 4 years of experience as a Data Engineer
- Practical experience building and maintaining data pipelines
- Experience designing and implementing ETL/ELT processes
- Experience in data migration, transformation and processing
- Knowledge of Data Quality, monitoring and data validation
- Practical knowledge of GCP and experience with Google BigQuery
- Experience with dbt Core
- Ability to collaborate in interdisciplinary teams
Full description
Dołączysz do zespołu, który migruje istniejące rozwiązanie do monitorowania jakości danych (Data Quality) z platformy legacy do środowiska GCP z wykorzystaniem BigQuery i dbt Core. Będziesz projektować i rozwijać pipeline'y danych oraz procesy ETL/ELT, implementować mechanizmy i metryki Data Quality w dbt Core, przygotowywać mapowania między rozwiązaniami oraz budować repozytoria do przechowywania i monitorowania wyników kontroli. To oferta dla Data Engineera z doświadczeniem w chmurze i SQL, który interesuje się obszarem jakości danych i migracjami do chmury.
- min. 4 lata doświadczenia na stanowisku Data Engineer
- praktyczne doświadczenie w budowaniu i utrzymywaniu pipeline'ów danych
- doświadczenie w projektowaniu i implementacji procesów ETL/ELT
- doświadczenie w migracji, transformacji i przetwarzaniu danych
- znajomość zagadnień związanych z Data Quality, monitoringiem i walidacją danych
- praktyczna znajomość GCP i doświadczenie z Google BigQuery
- doświadczenie z dbt Core
- umiejętność współpracy w zespołach interdyscyplinarnych