https://xakep.ru/2025/01/30/crawler-hunt/ИИ-компании нередко обвиняют в том, что они игнорируют инструкции в файлах robots.txt и скрапят любой контент без разбора, при этом создавая большую нагрузку на сайты. Для борьбы с этим явлением начали появляться ловушки для ИИ-краулеров.