Adviva
Senior Data Engineer
Senior Data Engineer to own the data platform solo: build batch and streaming pipelines with Apache Airflow and Kafka, develop ClickHouse analytical marts and a PostgreSQL ODS/DWH, tune databases, and clean up legacy processes. 100% remote; stack is Python, SQL, Airflow, ClickHouse, Kafka, Postgres, S3/MinIO.
- Compensation
- Not disclosed
- Location
- Тбилиси
- Work setup
- Remote
- Seniority
- Senior
- Employment
- Not specified
- Experience
- Not specified
- Category
- Data engineering
- Posted
Skills
Must have
- Excellent knowledge of Python and SQL
- Production ETL/ELT experience building and supporting pipelines; strong Apache Airflow skills (mandatory)
- ClickHouse: designing analytical marts and optimizing complex queries on large data volumes
- Deep knowledge of PostgreSQL / MySQL, database optimization, and building ODS/DWH over operational sources
- Senior autonomy: ability to lead the data direction single-handedly, prioritize, and deliver
- Understanding of principles for designing fault-tolerant, scalable systems
- Habit of documenting rules, data schemas, ownership zones, and maintaining runbooks
Nice to have
- Experience with Apache Kafka (producers, consumers, schemas)
- Experience with S3 / MinIO and Apache NiFi
- Experience migrating pipelines and cleaning up legacy technology landscapes
- Background in FinTech, payments, or AntiFraud
- Skills setting up CI/CD for data engineering and IaC approaches
Full description
Senior Data Engineer
Мы ищем опытного Senior Data Engineer, способного самостоятельно закрывать задачи по оркестрации, проектированию хранилищ и обработке данных.
Вашей ключевой задачей станет развитие DWH/ODS, оптимизация инфраструктуры (ClickHouse, Postgres), построение батчевых и потоковых пайплайнов, а также наведение порядка в унаследованных процессах.
🎨 Чем предстоит заниматься (Обязанности):
- Оркестрация и пайплайны: проектирование, разработка и поддержка batch-процессов, витрин данных и регламентных расчётов на Apache Airflow.
- Аналитические витрины (ClickHouse): развитие витрин для риск-отчётности и систем принятия решений (финансовые и поведенческие метрики).
- Streaming & ODS:
- Построение потоковой доставки данных через Apache Kafka (near real-time).
- Развитие ODS на PostgreSQL: интеграция данных с бэкенда продукта, проектирование схем, настройка инкрементальной загрузки.
- Оптимизация баз данных: тюнинг производительности PostgreSQL, MySQL и ClickHouse (индексы, схемы, рефакторинг тяжёлых запросов).
- Data Storage: работа с объектными хранилищами (S3 / MinIO) как слоем хранения.
- Рефакторинг и ревизия: аудит, инвентаризация и наведение порядка в legacy-скриптах и DAG'ах, явное распределение зон ответственности за процессы.
- Data Quality & SLA: настройка мониторинга и алертинга (надежность, полнота, свежесть витрин и выдерживание SLA).
- Кросс-функциональная работа: взаимодействие с Data Science, аналитиками и backend-разработчиками (согласование контрактов данных, подготовка данных для ML-моделей).
🎯 Что для нас важно (Требования):
- Языковой стек: отличное знание Python и SQL.
- ETL/ELT в Production: уверенный опыт создания и поддержки пайплайнов, отличные знания Apache Airflow (обязательно).
- ClickHouse: проектирование аналитических витрин и оптимизация сложных запросов на больших объемах данных.
- Реляционные БД & ODS/DWH: глубокие знания PostgreSQL / MySQL, опыт оптимизации БД и построения ODS/DWH поверх операционных источников.
- Senior-автономия: умение самостоятельно вести направление данных, в одиночку держать пайплайны, правильно расставлять приоритеты и доводить задачи до результата.