Обсудим, как за последние два года Avito выстроил аналитическую экосистему вокруг Trino, и рассмотрим внутреннее устройство и возможности CedrusData Catalog — современного бесплатного каталога для lakehouse-платформ.

Митап организован компанией Querify Labs, разрабатывающей аналитическую платформу CedrusData на основе open-source проектов Trino и Apache Iceberg.

Продолжаем делиться с вами информацией о реальных кейсах внедрения Trino и Iceberg в России, и рассказывать о внутреннем устройстве продуктов CedrusData.

Не забудьте посмотреть записи докладов прошедших митапов, и подписаться на Telegram-сообщества Trino/CedrusData и Apache Iceberg.

Программа

18:30–19:30 Доклад "Trino в Авито спустя два года: от движка к аналитической экосистеме"

Дмитрий Рейман, Tech Lead в Analytics Platform, Авито

Trino стал основой нашей аналитики, но сам по себе движок не делает платформу. Чтобы построить современный DWH, мы развивали все ключевые компоненты Lakehouse: высоконагруженное и масштабируемое хранилище, стабильный и функциональный каталог, управляемую инфраструктуру — и дорабатывали сам Trino для поддержки моделей вроде Data Vault. Сегодня наша платформа обрабатывает до 1 ПБ данных в день и обслуживает 300 активных пользователей.

В этом докладе — практический опыт развития Lakehouse как системы: что пришлось строить вокруг Trino, и почему этого не избежать. Всё, что нужно знать, если вы собираетесь жить на Lakehouse.

19:30–20:30 Доклад "CedrusData Catalog — Современный каталог для lakehouse-платформ"

Владимир Озеров, Генеральный директор, Кверифай Лабс / CedrusData

Каталог метаданных является центральным компонентом lakehouse-платформ, основанных на технологии Apache Iceberg. В докладе я расскажу про CedrusData Catalog — бесплатный каталог метаданных для российского рынка.

Рассмотрим основные возможности продукта:

• ролевая модель доступа,
• maintenance таблиц Iceberg,
• поддержка time-travel,
• ускорение аналитических запросов с помощью материализации повторяющихся вычислений,
• расширение возможностей каталога с помощью плагинов,
• работа с S3/HDFS/Ozone.

Обсудим дальнейшие планы по развитию:

• fine-grained контроль доступа (маскирование, row-level security, ABAC),
• автоматическое обслуживание таблиц,
• продвинутый time-travel,
• расширенные метаданные для оптимизаторов движков,
• и другое.