SmartEngines ускоряет 8-битные нейросети усреднением вычислений

SmartEngines предложила алгоритм, который ускоряет 8-битные нейросети за счёт усреднения по дереву вместо точного суммирования результатов умножения, при этом точность сохраняется почти полностью. Алгоритм позволяет дольше хранить промежуточные результаты в 16-битном формате и эффективнее использовать SIMD-регистры. В экспериментах на ARM NEON сократилось время матричного умножения.

Разработка связана с Smart Document Engine, системой распознавания документов, которая работает локально на процессоре смартфона с ограниченными ресурсами. Для мобильного распознавания документов это важно, потому что вычисления выполняются на самом устройстве.