Data Engineer (K/M)
Data Engineer developing and maintaining a customer data platform (CDP) in a Data Lakehouse architecture on Google Cloud for a fuel/energy-sector client. Day to day: designing batch and streaming ETL/ELT pipelines, Bronze/Silver/Gold transformations, CDC replication to BigQuery, plus data quality and governance. Mostly remote, with 1–2 days per month in the Warsaw office.
- Compensation
- Not disclosed
- Location
- Warszawa, Poland
- Work setup
- Not specified
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Experience in several cloud implementation projects in a Data Engineer role
- Minimum 6 months of hands-on experience with GCP technologies
- Very good knowledge of BigQuery (partitioning, clustering, external tables, query optimization)
- Good knowledge of Cloud Storage, Cloud Dataflow (Apache Beam) and Cloud Composer (Apache Airflow)
- Knowledge of Datastream, Dataplex, Pub/Sub and Dataform
- Understanding of medallion architecture and Data Governance principles (deduplication, data versioning)
- Knowledge of Git and CI/CD processes (e.g. Cloud Build) and Cloud Monitoring/Logging configuration
- English sufficient for working in an international environment
Full description
Rozwój i utrzymanie platformy CDP w architekturze Data Lakehouse na Google Cloud dla klienta z branży paliwowo-energetycznej. Będziesz projektować i optymalizować potoki ETL/ELT (batch i streaming), zarządzać transformacjami w warstwach Bronze/Silver/Gold, obsługiwać CDC i replikację do BigQuery oraz dbać o jakość danych i Data Governance. Dla Data Engineera z praktyką w GCP, praca w większości zdalna (1–2 dni w miesiącu w biurze w Warszawie).
- doświadczenie w kilku projektach wdrożeniowych rozwiązań chmurowych w roli Data Engineer
- min. 6 miesięcy praktycznego doświadczenia z technologiami GCP
- bardzo dobra znajomość BigQuery (partycjonowanie, klastrowanie, tabele zewnętrzne, optymalizacja zapytań), Cloud Storage, Cloud Dataflow (Apache Beam) i Cloud Composer (Apache Airflow)
- znajomość Datastream, Dataplex, Pub/Sub i Dataform
- zrozumienie architektury medalionowej oraz zasad Data Governance (deduplikacja, wersjonowanie danych)
- znajomość Git i procesów CI/CD (np. Cloud Build) oraz konfiguracji Cloud Monitoring/Logging
- znajomość angielskiego umożliwiająca pracę w środowisku międzynarodowym