Perplexity выпустила модель для RAG, которая учит ИИ искать ответ с контекстом

Perplexity Research и turbopuffer запустили pplx-embed-v2-context-9b-preview — модель для встраивания текста в RAG-системы, которая кодирует каждый фрагмент документа с учётом полного контекста. Традиционные модели помечают один «правильный» фрагмент, остальные становятся отрицательными примерами — даже те, что нужны для проверки ответа. Новая модель обучается на сигнале от компрессионной модели Perplexity, которая оценивает релевантность каждого токена для запроса.

Веса выложены на Hugging Face под лицензией MIT, развёртывание возможно локально. Это решает проблему зависимости от одной стратегии разбиения текста и снижает затраты на разметку данных.