Saluki 27B весит 7,89 ГБ и сохраняет 96% качества Qwen3.8-27B

Underdog выпустила Saluki 27B, 2-битную GGUF-версию модели Qwen3.8-27B под лицензией Apache 2.0, весом 7,89 ГБ против 54 ГБ у оригинала в BF16. По девяти бенчмаркам модель в среднем сохраняет 96% качества полной версии. На тесте параллельных вызовов инструментов она набрала 42 против 35 у полной модели, а на AIME 2025 показала 79,2 против 96,7, то есть около 82%.

Сжатие настраивали так, чтобы сохранить вызов инструментов, навык, который превращает чат-модель в агента. Разработчики получают 27B-класс агентной модели, которая работает в стандартном llama.cpp с полной разгрузкой на GPU.