Data Engineer (Python)
Data Engineer designing, building and maintaining large-scale ETL/ELT pipelines and a critical banking application (revenues management, stock reconciliation) using Python, Pandas/NumPy and PostgreSQL in a multi-cloud AWS/GCP environment. Hybrid role in Warsaw, joining a new 5-6 person Polish competency hub.
- Compensation
- Not disclosed
- Location
- Warszawa, Poland
- Work setup
- Hybrid
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Minimum 5 years of experience as Data Engineer, Python Developer, Data Scientist, Analytics Engineer or similar
- Very good Python knowledge with commercial experience in Pandas and NumPy
- Ability to use Python for processing, transformation and analysis of large datasets
- Experience working with large data volumes, including structures in billions of records and terabytes of data
- Ability to write efficient Python code and optimize data processing
- Ability to analyze data processing problems and find their root cause across systems and data sources
- Experience building, developing or maintaining ETL/ELT processes with Python
- Good SQL knowledge and practical experience with PostgreSQL (no DBA/tuning expertise required)
- Ability to write and optimize SQL queries and analyze their performance
- Basic or good knowledge of data partitioning and working with large tables
- Ability to independently diagnose problems and maintain production processes
- Fluent English (B2/C1)
Nice to have
- Experience with BigQuery
- Knowledge of Airflow and dbt
- Experience with cloud solutions, especially AWS and/or GCP
- Knowledge of tools and practices supporting ETL/ELT processes
- Experience with financial data or knowledge of investment funds (ETF) specifics
Full description
W Sorigo zajmujemy się wdrażaniem innowacyjnych rozwiązań w obszarze IT. Mamy kilkunastoletnie doświadczenie we współpracy partnerskiej z dużymi klientami. Wierzymy także, że praca powinna dawać ludziom satysfakcję, a nie być tylko obowiązkiem. Choć czasami znalezienie odpowiedniego dla siebie miejsca wymaga czasu i dobrego ukierunkowania przez bardziej doświadczonych kolegów. Każdy pracownik przychodzi do nas po to aby się rozwinąć. Interesuje nas Twój rozwój, bo z tego czerpiemy satysfakcję, a nasi klienci korzyści.
Data Engineer (Python / PostgreSQL)
Lokalizacja: hybrydowo/Warszawa
Jeżeli:
- Masz minimum 5 lat doświadczenia jako Data Engineer, Python Developer, Data Engineer, Data Scientist, Analytics Engineer lub na podobnym stanowisku
- Bardzo dobrze znasz Pythona i masz praktyczne, komercyjne doświadczenie w pracy z Pandas oraz NumPy
- Potrafisz wykorzystywać Python do przetwarzania, transformacji i analizy dużych zbiorów danych
- Masz doświadczenie w pracy z dużymi wolumenami danych, w tym strukturami liczonymi w miliardach rekordów i terabajtach danych
- Wiesz, jak pisać wydajny kod Python i optymalizować procesy przetwarzania danych
- Potrafisz analizować problemy związane z przetwarzaniem danych oraz szukać ich źródła w różnych systemach i źródłach danych
- Masz doświadczenie w budowaniu, rozwijaniu lub utrzymywaniu procesów ETL / ELT z wykorzystaniem Pythona
- Dobrze znasz SQL i masz praktyczne doświadczenie z PostgreSQL – nie musisz być ekspertem od administracji czy tuningu baz danych
- Potrafisz pisać i optymalizować zapytania SQL oraz analizować ich wydajność
- Masz podstawową lub dobrą znajomość partycjonowania danych i pracy z dużymi tabelami
- Potrafisz samodzielnie diagnozować problemy i utrzymywać procesy działające w środowisku produkcyjnym
- Biegle posługujesz się językiem angielskim (B2/C1)
A może dodatkowo:
- doświadczenie z BigQuery
- znajomość Airflow, dbt
- doświadczenie z rozwiązaniami chmurowymi, szczególnie AWS i/lub GCP
- znajomość narzędzi i praktyk wspierających procesy ETL / ELT
- doświadczenie z danymi finansowymi lub znajomość specyfiki funduszy inwestycyjnych (ETF)
Pomyśl, czy:
- lubiś pracować w przyjaznej atmosferze?
- chcesz czerpać satysfakcję z pracy w inspirujących projektach tworzonych przez ludzi z pasją?
- nie boisz się złożonych zagadnień, mając świadomość, że one napędzają Twój rozwój?
- chcesz być doceniany nie tylko za wyniki, ale i za swoje zaangażowanie?
Opowiedziałeś twierdząco na większość pytań? Zapraszamy!
Co u nas na Ciebie czeka?
- Praca w projektach opartych o PostgreSQL, Python, hurtownie danych i systemy przetwarzające bardzo duże wolumeny informacji