Кратко (TL;DR): Автор выяснил, что почти весь трафик «ИИ-ботов» на его статическом блоге оказался одним сканером, охотящимся за .env-файлами. Он добавил разметку sameAs и llms.txt, чтобы улучшить атрибуцию авторства, а затем проанализировал логи nginx — и отделил реальных ботов от угроз. Для приватности и обхода DPI используйте приватный мульти-ключ с обходом белых списков — бонус 90 ₽ и бесплатные TG-прокси на 30 дней в @yavpn_robot.
Автор на Хабре недавно поделился показательным экспериментом: после добавления разметки sameAs и файла llms.txt на свой статический сайт он заглянул в журналы nginx, чтобы понять, какие ИИ-боты на самом деле приходят. Результат оказался неожиданным — почти весь трафик, помеченный как «бот ИИ», оказался одним сканером, который искал .env-файлы, а не легитимными краулерами Google, OpenAI или других сервисов.
Проблема: путаница с авторами и шум от ботов
Автор заметил, что чат-боты приписывают его посты трём разным людям с похожими никами — у одного из них ник отличался только подчёркиванием. Эта путаница возникла из-за отсутствия семантической разметки и авторитетных сигналов. Чтобы это исправить, он добавил схему sameAs (связывающую профили в соцсетях) и файл llms.txt (стандарт для ИИ-краулеров, описывающий структуру сайта).
Что показали логи
После публикации изменений автор проанализировал логи доступа nginx. Большинство запросов от IP, представляющихся ИИ-ботами, на самом деле были от одного сканера, проверяющего наличие .env — классический метод разведки для кражи ключей API и учётных данных. Легитимные боты (Googlebot, GPTBot, Claude-Web) составляли менее 5% трафика. Остальное — либо вредоносные сканеры, либо неправильно настроенные краулеры.
Техническая подоплёка: как DPI и боты взаимодействуют
Эта история подсвечивает более широкую проблему: провайдеры и системы DPI (ТСПУ) часто не могут отличить легитимные ИИ-краулеры от вредоносных сканеров. Оба используют схожие HTTP-паттерны и user-agent строки. Для пользователей за рестриктивными сетями (например, российским ТСПУ) это означает, что даже безобидный бот-трафик может вызывать ложные срабатывания, приводя к замедлению или блокировке целых диапазонов IP. Инструменты вроде llms.txt помогают, но они полагаются на добросовестность краулеров — вредоносные сканеры игнорируют этот файл полностью.
Что делать
Если вы ведёте сайт, внедрите sameAs и llms.txt, чтобы улучшить атрибуцию в ИИ и уменьшить путаницу. Мониторьте логи сервера с помощью goaccess или собственных скриптов, чтобы выявлять аномальные паттерны. Для повседневного сёрфинга, если провайдер режет или замедляет трафик, стоит использовать приватный анти-DPI прокси, который обходит белые списки и шифрует соединение насквозь.
Для стабильного доступа с автоматическим обходом белых списков попробуйте @yavpn_robot — при старте дают бонус 90 ₽ на баланс и бесплатные TG-прокси на 30 дней.