Staff Data Engineer - High-Performance Data Systems
Staff Data Engineer designing the data architecture, analytics infrastructure, and compute engine for a new enterprise platform built from scratch, working remotely on a B2B contract. Core stack: PostgreSQL, SQL, Apache Spark, Apache DataFusion, Apache Arrow, and Rust.
- Compensation
- Not disclosed
- Location
- Not listed
- Work setup
- Not specified
- Seniority
- Staff
- Employment
- Contract
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Solid experience designing and building data infrastructure, databases, analytics platforms, or high-performance data systems
- Excellent knowledge of SQL and PostgreSQL (query planning, optimization, indexing, transactional consistency)
- Deep understanding of data architecture, modeling, and differences between transactional and analytical processing
- Practical, advanced knowledge of Apache Spark
- Experience designing systems for large data volumes, complex computations, and low latency
- Proficiency with AI coding assistants and ability to deliver top-quality production code
- Readiness to make key architectural decisions while actively writing code (hands-on role)
- Rigorous approach to correctness, reliability, testing, and maintainability
- Knowledge of Rust (concurrency, async programming, memory management, performance optimization)
Nice to have
- Apache DataFusion, Apache Arrow
- ClickHouse or other columnar/OLAP engines
- HTAP/Lakehouse architecture
- Cloud platforms (AWS/GCP/Azure)
- Financial computing systems
Full description
Dla naszego klienta poszukujemy kandydatów na stanowisko:Staff Data Engineer - High-Performance Data Systems
🏢 Projekt: Budowa architektury danych oraz infrastruktury obliczeniowej dla nowej platformy klasy enterprise. Rola łączy ownership skalowalnych systemów danych, wysokowydajnego przetwarzania analitycznego oraz tworzenia silnika obliczeniowego.
💻 Stack technologiczny: PostgreSQL, SQL, Apache DataFusion, Apache Arrow, Rust
🤝 Model współpracy: Kontrakt B2B - praca zdalna.
🎯 Zakres obowiązków:
-
Projektowanie i rozwój architektury danych platformy, w tym modelowanie danych, projektowanie schematów, strategii przechowywania oraz obsługa obciążeń transakcyjnych i analitycznych.
-
Definiowanie architektury przetwarzania danych – balansowanie między przetwarzaniem wsadowym a w czasie rzeczywistym, zapewnienie niskich opóźnień (low latency) oraz poziomej skalowalności.
-
Projektowanie i optymalizacja PostgreSQL oraz analitycznej infrastruktury danych (wydajność zapytań, indeksowanie, optymalizacja pamięci masowej).
-
Budowa i rozwój silnika obliczeniowego (w tym niestandardowe wykonywanie zapytań i reużywalne transformacje).
-
Tworzenie widoków semantycznych, rozszerzeń SQL oraz trwałego katalogu dla definicji danych i złożonych obliczeń finansowych.
-
Projektowanie integracji z zewnętrznymi źródłami danych, aplikacjami firm trzecich oraz systemami AI/ML (w tym pliki CSV/Parquet).
-
Ustanawianie standardów w zakresie poprawności numerycznej, wersjonowania danych, migracji schematów, data lineage, audytowalności, obserwowalności i niezawodności produkcyjnej.
🛠️ Oczekujemy:
-
Solidnego doświadczenia w projektowaniu i budowaniu infrastruktury danych, baz danych, platform analitycznych lub wysokowydajnych systemów danych.
-
Doskonałej znajomości SQL oraz PostgreSQL (w tym planowanie zapytań, optymalizacja, indeksowanie, spójność transakcji).
-
Głębokiego zrozumienia architektury danych, modelowania oraz różnic między przetwarzaniem transakcyjnym a analitycznym.
- Doświadczenia w projektowaniu systemów pod duże wolumeny danych, skomplikowane obliczenia i niskie opóźnienia.
-
Biegłości w korzystaniu z asystentów AI do kodowania (AI coding agents) oraz zdolności do dostarczania najwyższej jakości kodu produkcyjnego.