Доклады Mechanistic Interpretability

До недавнего времени область интерпретируемости языковых моделей была больше похожа на гадание и поиска голов в атеншине. Сейчас, во многом благодаря исследованиям антропика и дипмайнд, мы, наконец, можем говорить о том, что с помощью интерпретируемости можем не только понимать как работают трансформеры, но и изменять их поведение в нужном для нас направлении. Расскажу про то, чем наша группа занимается прямо сейчас в направлении механистик интерпретабилити.

Как находить темы для исследований в условиях высокой конкуренции. Обсудим, как изменилась область алаймента за 2 года: от единственного RLHF до нескольких десятков разных методов. Посмотрим, что происходит в офлайн алайменте: расскажу про то, как мы писали TR-DPO, и почему переписывали статью несколько раз. Поделюсь, что интересного раскопали в онлайн алайменте и куда смотрим сейчас. В конце узнаете, как мы работаем, как генерируем идеи, и почему тесно сотрудничаем с RnD командой.