Solution Architect
Designs and implements a high-performance Lakehouse data platform for a large bank, focusing on distributed compute (Spark/Flink) and storage (S3) across 10,000+ servers.
- Compensation
- Not disclosed
- Location
- Москва (м. Тульская, Верхние котлы)
- Work setup
- Hybrid
- Seniority
- Not specified
- Employment
- Not specified
- Experience
- Not specified
- Category
- Architecture
- Posted
Skills
Full description
В SberData мы создаем платформу данных для всего Сбера. Это более 350 источников данных и 100+ Пб информации, заказ и получение данных за 15 минут и современный технологический стек работы с данными, включая собственные сборки СУБД на базе Hadoop и Greenplum. Наша команда развивает инструменты и внедряет технологию разделенного Compute & Storage в рамках концепции Lakehouse. Наша задача – спроектировать и внедрить надежное, безопасное решение для высоконагруженных расчетов витрин данных на современных технологиях Compute (Spark, Flink) и Storage (S3), работающее на 10000+ серверах.
Задачи:
- Разработка и развитие архитектуры корпоративной Lakehouse-платформы на базе OpenShift для технологий Spark и Flink с учетом требований информационной безопасности и надежности.
- Участие в проектировании (спецификации) серверного оборудования совместно с инфраструктурным подразделением.
- Сбор и систематизация требований к нагрузкам, профилирование сценариев использования — batch, streaming.
- Сбор и анализ технических требований, интеграционных взаимодействий, требований ДКБ.
Требования:
- Опыт разработки/проектирования: 7+ лет в Data / Platform / Distributed Systems в крупных информационных системах (1000+ серверов).
- 5+ лет с Kubernetes / OpenShift в production.
- Spark в K8s или аналогичные.
Будет плюсом опыт работы с:
- Lakehouse.
- Аналитические OSS СУБД ClickHouse / StarRocks / Trino / Greenplum.
- Iceberg или подобные.
- S3-хранилищами, HDFS, Hive Metastore.
- Навыки работы с генеративными AI-моделями; опыт создания AI-агентов и использования их в работе.
Мы предлагаем:
- Комфортный современный офис: БЦ Даниловский форт, рядом с М. Тульская, Верхние котлы.
- Возможность выбрать удобный график — офис/гибрид.
- Ежегодный пересмотр зарплаты, годовая премия.
- Корпоративный спортзал и зоны отдыха.
- Более 400 образовательных программ СберУниверситета для профессионального и карьерного развития.
- Расширенный ДМС, льготное страхование для семьи и корпоративная пенсионная программа.
- Гибкий дисконт по ипотечному кредиту, равный 1/3 ключевой ставки ЦБ.
- Бесплатная подписка СберПрайм+, скидки на продукты компаний-партнеров.
- Вознаграждение за рекомендацию друзей в команду Сбера.