ИНТЕНСИВ ПО АНАЛИЗУ ДАННЫХ, МАТЕМАТИЧЕСКОЙ СТАТИСТИКИ И A/B ТЕСТАМ

ДАТЫ ПРОВЕДЕНИЯ

• 5 ноября
• 7 ноября
• 12 ноября
• 14 ноября
• 19 ноября
• 22 ноября
• 26 ноября
• 28 ноября

ПРОГРАММА

Первый день

• Математическая статистика как инструмент анализа A/B-тестирований
• Какие бывают эксперименты
• Введение: типы экспериментов, типы метрик и обзор тем курса
• Описательные статистики
• Базовый курс математической статистики: что такое дисперсия, стандартное отклонение, квадратичная ошибка и ЦПТ

Второй день

• Статистические критерии для проверки основных типов метрик: параметрика, непараметрика
• Статистические критерии
• Обзор классических статистических критериев. Почему для одной гипотезы подойдет критерий Стьюдента, а для другой Манн-Уитни

Третий день

• Определение времени на продолжительность эксперимента и обзор темы чувствительности метрик
• Fixed Horizon и MDE. Расчет прогноза остановки эксперимента
• Сколько нужно данных для проведения эксперимента и как посчитать минимальный объем выборки
• A/B/X-тестирования: множественная проверка гипотез
• Поправка на множественное сравнение и как множественная проверка гипотез сказывается на ошибки первого и второго рода

Четвертый день

• Расширенные инструменты математической статистики для анализа экспериментов
• Бутстрап
• Повторные выборки и квантильная оценка А/Б-экспериментов
• Бакетирование и трансформирование метрик
• Как привести распределение к нормальному, оптимизировать метрику и ускорить расчеты эксперимента с помощью бакетов
• Методы проверки качества систем сплитования: A/A-тестирования
• Какими способами можно проверять качество сплитования пользователей в эксперименте

Пятый день

• Оптимизация скорости проведения экспериментов и ratio-метрики
• Ускорение экспериментов: CUPED, стратификация
• Разберем теорию и закрепим на практике (демонстрации и задания) разные способы увеличения чувствительности метрик в эксперименте для сокращения времени проведения a/b тестов
• Ratio-метрика: дельта-метод, линеаризация, бутстрап и еще раз про бакетирование
• Обзор проблемы расчета дисперсии и оптимизация bias'a для ratio-метрик. Благодаря линеаризации появляется возможность работать с ratio-метриками и увеличить их чувствительность

Шестой день

• Не лекционный день
• Q&A
• Разбор вопросов и кейсов студентов, накопившиеся за 2 недели материала

Седьмой день

• Симуляции и автоматизация A/B
• Monte-Carlo и синтетические эксперименты | только для продвинутого блока
• Обзор Monte-Carlo процесса: расчет чувствительности метрик и времени на эксперимент непараметрическим методом. Ведение новой мета-метрики качества метрик – направленность
• Разработка метрик и pipeline их расчета | только для продвинутого блока
• Обзор организации автоматизации расчетов метрик. Как придумать любую метрику с помощью числителей и знаменателей

Восьмой день

• Расширенные методы математической статистики для анализа экспериментов
• Offline-эксперименты: проблематика и обзор дизайнов | только для продвинутого блока
• Обзор популярных статистических подходов, используемые в дизайне offline-экспериментов, переход к альтернативным единицам рандомизации: гео-хрон эксперименты в delivery- / ride- сервисах(switchback), подбор точек в retail / dark kitchen / dark store, синтетический контроль, network эффекты, эксперименты в социальных сервисах
• Sampling Bias и эффект новизны | только для продвинутого блока
• В каких случаях приходится сталкиваться с систематической ошибкой смещения выборки и как с ней бороться