Компания Cloudflare представила новый инструмент для борьбы с ботами, которые сканируют сайты и без разрешения используют контент для обучения своих моделей искусственного интеллекта. Новинка называется AI Labyrinth («ИИ-лабиринт»), и её главная задача — не блокировать, а «замедлять» таких ботов, перенаправляя их на страницы с бессмысленным содержимым, сгенерированным самим ИИ.

[ Гостям не разрешен просмотр вложений ]

Cloudflare заметила, что количество запросов от ИИ-ботов, собирающих информацию для последующего обучения моделей, достигло внушительных масштабов — примерно 1% от всего интернет-трафика, который обрабатывает компания. В абсолютных цифрах это более 50 млрд запросов ежедневно.

Как работает AI Labyrinth?
AI Labyrinth работает на базе открытой платформы Workers AI и генерирует «лабиринты» из реалистично выглядящих HTML-страниц. Попав в такую ловушку, боты вынуждены тратить ресурсы на обработку бесполезного контента. Пользователи при этом не сталкиваются с такими страницами и даже не замечают их существования.

«Когда мы обнаруживаем неавторизованного бота, то вместо блокировки перенаправляем его на серию сгенерированных страниц, достаточно убедительных, чтобы бот продолжил путешествовать по ним. Таким образом бот впустую расходует своё время и вычислительные ресурсы», — объяснили в Cloudflare.

При этом компания подчёркивает, что намеренно избегает генерации ложной или вредоносной информации. Контент в лабиринтах связан с научными фактами, но не является полезным для обучающих моделей. Также он никак не влияет на репутацию сайта и его позиции в поисковых системах.

Зачем Cloudflare это делает?
Основная цель AI Labyrinth — сделать работу неавторизованных ботов максимально затратной, тем самым создавая препятствие для компаний, которые занимаются сбором контента без разрешения владельцев сайтов. По задумке, увеличение затрат на бесполезную обработку должно побудить операторов ботов отказаться от подобных практик.

Кроме того, AI Labyrinth помогает точнее идентифицировать ботов:

«Ни один реальный человек не будет переходить по четырём и более ссылкам, ведущим в лабиринт бессмысленного контента. Любой посетитель, сделавший это, почти наверняка является ботом, и мы можем эффективно выявлять таких нарушителей», — заявляет Cloudflare.

Что дальше?
Cloudflare не собирается останавливаться на достигнутом и ожидает, что в будущем владельцы ботов попытаются обойти её защиту. Поэтому компания уже работает над улучшением своего «лабиринта»:

сделает ссылки труднее распознаваемыми ботами;
интегрирует страницы лабиринта ещё более незаметно в структуру защищаемых сайтов.
Нововведение уже доступно всем пользователям Cloudflare, включая бесплатный тарифный план. Активировать AI Labyrinth можно в личном кабинете.

Дополнительно о защите от ботов
Ещё летом 2024 года Cloudflare выпустила бесплатный инструмент для блокировки ИИ-ботов, но практика показала, что блокировка не всегда эффективна, поскольку операторы ботов часто игнорируют запреты и технические ограничения. Новый подход с созданием лабиринтов бесполезного контента может оказаться намного результативнее.

Подробнее о функции можно прочитать в официальном блоге Cloudflare.