Собираем DWH‑комьюнити и приглашаем на митап, где вас ждут доклады от нашей команды. Мы расскажем как:

• прошли путь от первых отчетов до архитектуры Lakehouse;
• выстраиваем работу с данными и какие технологии лежат в основе нашей платформы;
• создали командой из пяти инженеров собственное BI‑решение для 22 тысяч пользователей.

А после программы — нетворкинг, чтобы пообщаться, обменяться опытом и просто приятно провести вечер с сообществом.

Доклады

Эволюция DWH: от PostgreSQL до Lakehouse

Как на самом деле развивается хранилище данных в компании? В реальности архитектура не появляется сразу в идеальном виде: она проходит путь от простых отчетов до сложных распределенных платформ.

Разберу эволюцию аналитической системы: как и почему компании добавляют ClickHouse, переходят к MPP-решениям, строят Data Lake и в итоге приходят к Lakehouse.

Обсудим, как меняются модели данных, подходы к загрузке данных и требования к Data Governance, какие архитектурные решения применимы на разных этапах роста и как избежать типичных ошибок при развитии DWH.

Путь данных в Т-Банке

У нас в хранилище содержатся петабайты данных, которые необходимы для ежедневной аналитики. Наша дата-платформа позволяет работать со всеми возможными пользовательскими сценариями и ежедневно перемалывать такие объемы.

Разберу:

• из каких компонентов состоит наша дата-платформа;
• сколько нужно ETL-инструментов для удовлетворения всех потребностей;
• какие объемы данных содержатся в нашем хранилище и как мы с ними живем;
• на каких опенсорс-решениях мы построили нашу дата-платформу;
• как мы переходим к ДЛХ и с какими техническими трудностями сталкиваемся.

Как команда из пяти инженеров построила BI-платформу для 22 тысяч пользователей после ухода Tableau

После ухода Tableau перед Т-Банком стояла задача сохранить BI-инструмент для десятков тысяч пользователей. Вместо перехода на готовые решения команда решила построить собственную платформу — Proteus.

Расскажу:

• почему не подошли существующие BI-решения;
• как устроена архитектура Proteus;
• как устроена гибкая кастомизация дашбордов через код;
• с какими факапами и архитектурными ошибками мы столкнулись;
• какие функции сейчас появляются в платформе, включая AI.