Компания Perplexity представила pplx-embed-v2-late — две открытые модели для поиска по текстам, изображениям и страницам документов. Эти модели способны находить релевантные материалы по текстовому запросу, включая PDF, без предварительного распознавания текста.
В состав моделей входят версии 0.6B и 9B. Они совместимы друг с другом: более объемная модель может создавать поисковый индекс, тогда как меньшая — обрабатывать запросы к нему.
Читайте также: ТОП-7 нейросетей для обработки фото
Как работает поиск
Модели сохраняют отдельные числовые представления элементов документа. При сравнении с запросом система сопоставляет его части с наиболее релевантными частями документа. Такой метод позволяет находить детали в длинных текстах, таблицах и изображениях страниц.
Модели используют архитектуру на базе Qwen3.5 и формируют 128-мерные векторы для каждого токена — элемента, на который модель разбивает входные данные. Для оценки соответствия применяется MaxSim: лучшие совпадения для токенов запроса суммируются в общий результат.
Можно использовать одну модель как для индекса, так и для запросов, либо комбинировать разные версии. В тестировании компании на визуальной части ViDoRe v3 комбинация индекса 9B и запросов 0.6B показала результат 63,5% по метрике качества ранжирования nDCG@10, в то время как 0.6B с обеих сторон получила 62,3%.
Результаты и доступность
В том же тесте, когда каждая модель использовалась отдельно, версия 9B достигла 65,2%, а 0.6B — 62,3%. При поиске по документам, преобразованным в Markdown, результаты составили 64,7% и 61,2%. Это данные Perplexity на публичной части теста.
Веса моделей опубликованы на Hugging Face под лицензией MIT. Модели можно использовать через Sentence Transformers версии 6.0.0 и выше с Transformers 5.4.0 и выше.
В новом семействе моделей используется больше памяти для индекса и больше вычислительных ресурсов для сопоставления кандидатов, чем в подходе с одним вектором на документ. Perplexity рекомендует применять его для баз, где критична точность, или как дополнительный этап в рамках крупной поисковой системы.
Во время теста Q2D-Web модели достигли 73,6% и 74,8% по Recall@1000 для версий 0.6B и 9B соответственно. Эти результаты выше предыдущего рекорда в 69,3%.
Perplexity также намерена постепенно внедрить поддержку dense, contextual и late-interaction embeddings в платформу Perplexity API.
Ранее Perplexity Computer научилась создавать видео для рекламных кампаний и социальных сетей.
