SGLang добавил эндпоинты для вероятностных ответов моделей

Команда SGLang добавила два эндпоинта — /v1/decisions и /v1/systemone — которые превращают чат-модели в системы для принятия решений с вероятностными ответами. API поддерживает выбор из 2–26 вариантов, оценку по шкале 2–10 уровней и бинарные вопросы. Движок присваивает каждому варианту однотокенную метку, затем читает логарифмические вероятности следующего токена и переводит их в вероятности через софтмакс.

На демонстрации Qwen3.8-27B играла в Pokémon FireRed, принимая решения менее чем за 100 мс и пройдя Элитную четвёрку. Функция доступна в nightly-сборках SGLang и совместима с моделями, где метки ответов укладываются в один токен.