Команда «Сбера» представила первую диффузионную языковую модель GFusion на базе GigaChat в открытом доступе. Этот тестовый проект будет особенно полезен для исследователей и разработчиков, создающих аналогичные решения, сообщили редакции IT Speaker в пресс-службе компании.
Специалисты подчеркивают, что традиционные большие языковые модели, или LLM, генерируют текст последовательно, слово за словом (авторегрессия), что заставляет модель переписывать весь ответ заново при исправлении одной ошибки.
GFusion функционирует по иному принципу: сначала модель создает предварительный «набросок» ответа, а затем поэтапно его уточняет – аналогично тому, как нейросети создают изображения и видео. Благодаря параллельной генерации GFusion генерирует текст быстрее: по тестам «Сбера» – на 45% быстрее, чем GigaChat 3, на основе которого она обучалась.
Более того, диффузионные модели обеспечивают более высокую скорость: токены создаются не по одному, а целыми группами. Их генерация более адаптивна: в отличие от авторегрессионных моделей, текст не обязан создаваться строго слева направо – модель самостоятельно выбирает, какую часть ответа дополнить на каждом этапе. Кроме того, диффузионные модели способны извлекать больше информации из ограниченного объема данных.
Вместе с GFusion «Сбер» выпустил инструменты, ускоряющие обучение диффузионных моделей – это первый подобный опенсорс-проект в России. Эти инструменты позволяют разработчикам обучать свои модели быстрее и с меньшим количеством видеокарт.
Ранее «СберМедИИ» (часть «Сбера») озвучила ключевые направления развития, сфокусированные на улучшении качества и доступности медицинских услуг. На VI Всероссийском форуме «НОВАМЕД-2026» генеральный директор компании Виктор Ушаков сообщил о намерении создать мультиагентную ИИ-систему для медицинской сферы.
«СберТех» окажет помощь бизнесу в работе с большими данными
