Perplexity выпустила открытые мультимодальные модели на 0,6B и 9B

Perplexity выпустила две мультимодальные модели эмбеддингов pplx-embed-v2-late размером 0,6B и 9B, которые ищут по тексту, изображениям и отрендеренным страницам PDF в одном пространстве векторов. Модель 0,6B быстрая и дешёвая для запросов, 9B даёт максимальное качество, а её индекс можно искать запросами от 0,6B, сохранив около половины разрыва в качестве на тексте. Токенные векторы имеют 128 измерений против 2048–4096 у конкурентов, но индекс растёт вместе с длиной документа, поскольку каждый токен получает свой вектор.

Обе модели лежат на Hugging Face под лицензией MIT, коммерческое использование разрешено, а хостинговый API Perplexity запланирован, но пока не запущен. Все показатели заявлены самой компанией, технического отчёта ещё нет, а на ViDoRe v3 по поиску изображений первое место занимает EVIE от Tencent. Компании, которые хотят разворачивать поиск у себя, могут запускать эти модели самостоятельно.