Бывший сотрудник OpenAI выпустил ИИ, который работает в 200 раз быстрее

Стартап TypeSafe AI представил нейросеть Jev, которая в некоторых задачах работает в 200 раз быстрее обычных LLM. Модель не генерирует ответ последовательно, а выбирает структурированный результат из готовых вариантов с вероятностями — это исключает галлюцинации, хотя неправильный выбор остаётся возможен. За счёт этого подхода Jev принимает около 10 решений в секунду, что подтвердили тестом в игре DOOM.

Стоимость млн входных токенов составляет $0,042, выходные токены бесплатны — час работы обошёлся в $7. Модель уже доступна в раннем доступе.