По тесту на 1 046 сайтах обучающих ботов блокируют чаще

Seensure проверила 1 046 сайтов после обновления правил Cloudflare для ИИ-ботов: запросы от обучающих ботов стали блокировать чаще, поисковых реже. Cloudflare изменил правила доступа ИИ-ботов к сайтам 15 сентября. Некоторые боты выполняют и обучение, и поиск, поэтому блокировка сбора данных для обучения может заодно закрыть поиск.

Тест проводился с подставленными именами ботов, поэтому он не доказывает доступ настоящих краулеров. Настройки стоит проверять по категориям, а реальный доступ по логам запросов.