• обсудим текущий уровень развития VisualLM и основные инсайты по их обучению;
• рассмотрим технологии text2Image-моделей через призму задачи переноса стиля;
• узнаем, как квантовать модели для edge-устройств, сохраняя высокую точность.

Доклады

Методы переноса стиля в современных text2Img-моделях

За последние годы область генеративного искусственного интеллекта претерпела значительные изменения благодаря развитию text2Image-моделей, которые могут создавать реалистичные изображения на основе текстовых описаний. Я рассмотрю ключевые технологии, лежащие в основе этих моделей, и их применение в сфере переноса стиля. Обсужу с вами современные подходы к синтезу изображений, позволяющие интегрировать художественные эффекты и стилистические особенности, сферу их использования и ограничения методов.

Как делать вычислительно-эффективные нейронные сети для edge-устройств

В последние годы нейронные сети де-факто стали стандартным инструментом во всех задачах, требующих распознавания, синтеза или сложной обработки изображений на edge-системах. В таких системах есть жесткие ограничения на время исполнения и вычислительную сложность методов и объем памяти. Для решения этих проблем специалисты используют комплекс подходов, которые направлены на создание компактных квантованных нейронных сетей малых разрядностей. Я расскажу о новой разработке Smart Engines — 4,6-битных квантованных нейронных сетях, которые объединяют высокую точность и вычислительную эффективность.

Visual Language Model в 2024, какая она?

2024 год стал большим шагом в развитии VLM-моделей, которые позволяют работать с набором изображений и текстов с помощью инструкций на естественном языке. За год эксперты выпустили сотни статей об аспектах визуально-текстовой мультимодальности и десятки открытых VLM-моделей разного размера и направленности. Я проанализировал их и теперь расскажу о новых инженерных идеях и инсайтах 2024 года в построении сильной VLM, поделюсь современными VLM-приложениями и их ограничениями.