Yandex сократил расход токенов на веб-контекст в три раза
Yandex Search API получил функцию Smart Snippets, которая возвращает релевантные фрагменты найденных страниц одним вызовом вместо загрузки полного контента. По данным команды продукта, это снижает расход токенов на веб-контекст в три раза при сохранении качества ответа.
Каждый фрагмент занимает около 500 токенов. Функция предназначена для ИИ-ассистентов и агентов, которым нужны свежие данные из интернета — она упрощает поисковый пайплайн и снижает затраты на обработку веб-контекста.
Источник: Machinelearning
Новости этого рынка выходят у нас в телеграме первыми — @adposium_ai.