Xiaomi выпустила нейросеть для анализа табличных данных без переобучения

Xiaomi запустила TabLDM — модель для классификации и регрессии на табличных данных, которая работает без переобучения под конкретную задачу. Модель использует размеченные строки как контекст и предсказывает значения для новых строк за один проход. Выпущены два чекпоинта: классификатор с 61 млн активных параметров из 70 млн и регрессор с 62 млн активных из 71 млн.

Архитектура построена на трёхступенчатом трансформере с Set Transformer для кодирования столбцов и 24 блоками обучения в контексте. Модель рассчитана на таблицы от сотен до десятков тысяч строк и от нескольких до сотни столбцов.