Обсуждаем инфраструктуру для ML, разбираем сложности, тренды и инструменты построения production ML-систем

Особое внимание уделим актуальному тренду — LLM. Поговорим про оптимизацию моделей, безопасность LLM и сокращение расходов на их инференс.

Формат участия

• оффлайн - Санкт-Петербург, ул. Цветочная, 19. Если вы хотите участвовать оффлайн, пожалуйста, зарегистрируйтесь на этой странице
• онлайн-трансляция

Основные темы

• Тенденции развития генеративного ИИ
• Оптимизация LLM и инфраструктурные векторы атак на них
• Текущие перспективы Feast в качестве Feature store
• Деплой ML-сервисов и сокращение затрат их работу

Кому будет интересно на митапе:

• MLOps и DevOps в ML-проектах
• DevOps-инженерам и Data scientists
• Менеджерам ML-проектов
• Техническим руководителям и CTO

Программа

• 17:30 – 18:00 Регистрация участников
• 18:00 – 18:10 Приветственное слово от ведущего
• 18:10 – 18:35 Юрий Классен, Руководитель группы MLOps, СберМаркет

Актуальный опыт внедрения feature store в командах МегаМаркет. Feast уже можно внедрять или ждём версию 1.0? Одним из важных компонентов ML-платформы является хранилище фичей. Поделимся опытом использования одного из самых популярных, расскажем про его подводные камни, дадим рекомендации и обозначим ожидания от будущих релизов. СберМаркет — онлайн-площадка с миллионами товаров и покупателей. Внутренние команды уже давно используют ML для решения большого количества задач. Для этого они построили собственную платформу и активно развивают ее с применением актуальных технологий и облачных ресурсов.

• 18:35 – 19:00 Антон Алексеев, DevOps-инженер, Selectel Ефим Головин, MLOps-инженер, Selectel

Непреодолимая легкость повышения утилизации GPU: Allocation и Profiling обычного человека. Расскажем, как сократить расходы на самый дорогой ресурс в ML-системах. Поговорим о выборе конфигураций серверов, запуске на одной GPU нескольких небольших ML-задач и объединении карт для выполнения одной большой задачи. Selectel — крупнейший независимый провайдер IT-инфраструктуры в России. Широкий выбор профессиональных GPU-карт, 15-летний опыт работы с серверным оборудованием, 1 место в рейтинге провайдеров GPU Cloud 2023.

• 19:00 – 19:35 Сергей Мезенцев, Individual contributor, Dstack

Как задеплоить свой ML-проект в разных облаках, если ты Data scientist и у тебя лапки в DevOps. Расскажем про open source инструмент, позволяющий без знаний инфраструктурных инструментов и особенностей провайдеров деплоить в них свои ML-сервисы. Dstack — платформа с открытым исходным кодом, которая помогает ML-командам получать инфраструктуру для разработки, обучения и инференса ML-моделей во множестве облачных провайдеров.

• 19:35 – 20:00 Перерыв на кофе и неформальное общение со спикерами
• 20:00 – 20:25 Василий Крикунов, Руководитель проектов в области ИИ, Axenix

Тренды GenAI их влияние на подходы к консалтингу B2B-компаний. Расскажем про тренды в области Generative AI: как они влияют на стратегию развития компании Axenix и почему привели к разработке собственной платформы для LLM-ботов. Axenix (ex. Accenture) — консалтинговая компания с 30-летним опытом в полномасштабных end‑to‑end проектах: создании бизнес- и ИТ‑стратегий с полноценным внедрением, разработке технологических решений и ПО, аутсорсинге.

• 20:25 – 20:50 Алексей Гончаров, CEO и founder, MIL Team

Быстрый и экономичный инференс LLM в прикладных задачах. LLM-модели требуют большого количества вычислительных ресурсов и для обучения, и для inference. Разберем опыт уменьшения размеров LLM под одну GPU без потери качества. MIL Team – российская команда разработки и поставки решений в области AI. Помогает компаниям проводить исследования и разрабатывать уникальные технологии в различных направлениях: NLP, CV, Sensors, DL Models Compression, RL, etc.

• 20:50 – 21:15 Евгений Кокуйкин, Руководитель AI продуктов, Raft

Инфраструктурные векторы атак на LLM: что говорит OWASP и чего в нем нет. Обсуждаем архитектуру LLM приложений, разберем угрозы связанные с инфраструктурными элементами приложений. Поговорим про безопасность LLM, supply chain, техники защиты и роль CISO при внедрении генеративного ИИ Raft AI Labs — подразделение компании Raft, которое специализируется на разработке и интеграции решений с использованием новейших AI-технологий.

• 21:15 – 22:00 Общение и ответы на вопросы

Регистрируйтесь!