Открытое сообщество для архитекторов и инженеров, которые строят высоконагруженные системы

Следующая встреча:

6 октября, 17:00 МСК, онлайн

Зарегистрироваться

• Дата: 6 октября, 17:00 МСК
• Формат: Онлайн

В деталях разберём архитектуру ИИ-агента: от оркестратора и инструментов до памяти и наблюдаемости.

Даниил Смирнов

Руководитель разработки
ИИ-платформы Яндекс

LLM — только один из компонентов ИИ-агента

Разберём архитектуру системы: оркестратор, модели, инструменты, коннекторы к источникам, память, EVAL, контекст диалога и наблюдаемость.

Что важно учитывать при работе с поиском по корпоративным данным

На примере Яндекс Почты покажем, как объединить полнотекстовый и векторный поиск, метаданные, фильтры и переранжирование, и почему архитектура поиска должна учитывать устройство конкретного источника.

Доступ агента к данным должен подчиняться правам исходной системы.

Разберём, как обеспечить изоляцию данных пользователей и организаций и не вернуть фрагменты из индекса или кеша тому, у кого никогда не было к ним доступа.

Автономность агента должна быть ограничена архитектурой

Рассмотрим контракты инструментов, управление состоянием, бюджеты контекста и токенов, таймауты, повторные попытки и деградацию при недоступности отдельных компонентов.

Качество агента нельзя измерить одной оценкой ответа LLM

Покажем, как отдельно оценивать качество поиска, выбор инструмента и итоговый ответ: нашли ли нужные данные, опирается ли ответ на источники, насколько он корректен, быстро ли работает система и успешно ли выполняются вызовы инструментов.