Восьмой митап российского сообщества разработчиков СУБД и распределенных систем

Обсудим вариант реализации автофейловера между ДЦ и фундаментальные проблемы современных систем анализа потоковых данных, таких как Apache Flink.

Приглашаем вас на восьмой митап сообщества Database Internals. В программе два доклада от разработчиков из компании VK Tech и руководителя направления больших данных Исследовательского института Ломоносова.

Место и время проведения

Мероприятие пройдет офлайн в офисе VK Tech по адресу:

г. Москва, Ленинградский пр-т, д. 70, БЦ "Алкон", вход "Север", этаж 3, конференц-зал.

Участвующим онлайн будет доступна трансляция на VK Video, YouTube и чат.

Мероприятие бесплатное. Регистрация обязательна. При очном участии обязательно наличие паспорта. Количество мест ограничено.

Трансляция мероприятия организована нашими друзьями из компании VK Tech.

Программа

• 18:00 – 19:00 — Автофейловер и данные в двух датацентрах. Александр Туренко и Георгий Белянин, разработчики VK Tech
• 19:00 – 19:10 — Перерыв
• 19:10 – 20:10 — Алгоритмы для непрерывной обработки запросов. Рене ван Беверн, руководитель направления больших данных, Исследовательский институт Ломоносова

Доклады

Автофейловер и данные в двух датацентрах

Александр Туренко и Георгий Белянин, разработчики VK Tech

Широко известен алгоритм RAFT, в котором главный узел выбирается голосованием внутри кластера. Для RAFT'а надо минимум три ЦОДа, это довольно затратно. В докладе рассматривается подход с внешним арбитром и СУБД в двух ЦОДах.

Расскажем про разные аварии, нюансы распределенных блокировок а-ля redlock, про fencing tokens, двухфазные вызовы, плюсы и минусы внешнего состояния, особенности разбора проблем и подходы к усилению мощности тестирования.

Алгоритмы для непрерывной обработки запросов

Рене ван Беверн, руководитель направления больших данных, эксперт по обработке больших данных в реальном времени, Исследовательский институт Ломоносова

Непрерывная обработка запросов позволяет проводить анализ потоков данных в реальном времени, но создает алгоритмические проблемы из-за неограниченного объема данных, строгих ограничений по задержке и непредсказуемой динамики потоков.

В этом докладе рассматриваются основные алгоритмические методы, лежащие в основе современных систем анализа потоковых данных, таких как Apache Flink, включая эффективные агрегации над окнами, инкрементальные вычисления, управление состоянием, отказоустойчивость, приближённую и адаптивную обработку запросов.

Полезные ссылки

• Telegram-чат сообщества
• Анонсы предстоящих событий

Карта проезда

Как добраться до офиса VK Tech, БЦ Алкон, м. Сокол (PDF)