BookTrans встроил бенчмарк качества перевода для LLM

RUVDS.com встроила в опенсурсный конвейер BookTrans бенчмарк для оценки качества художественного перевода нейросетями. Бенчмарк содержит сто ловушек в одном рассказе и использует LLM-судью с ключом ответов для автоматической проверки.

На нём протестировали модели Anthropic, OpenAI и Google против китайских аналогов. Результаты показывают, насколько хорошо работают западные модели в сравнении с более дешёвыми решениями.