Миф: llms.txt — это новый robots.txt. Реальность: он для агентов, а не для пауков
С начала 2026 года каждый второй SEO-блогер советует «просто добавить llms.txt в корень сайта — и AI начнёт вас цитировать». Звучит заманчиво. Но вот в чём подвох: большинство AI-краулеров (Googlebot, GPTBot, ClaudeBot) вообще не смотрят на llms.txt. Они по-прежнему живут по старым правилам: сканируют HTML, гоняются за картой сайта, уважают robots.txt. llms.txt — это инструкция не для сборщиков контента, а для агентного слоя: для тех программных сущностей, которые принимают решения на основе уже проиндексированных данных.
Пока вы думаете, что файлик решит все проблемы с видимостью в ChatGPT или Perplexity, умные ребята уже переписывают архитектуру взаимодействия с AI. И вот что показали замеры.
Как мы тестировали: методика
Взяли 8 популярных AI-систем, которые так или иначе используют контент из интернета. Для каждой системы запустили одинаковый запрос по термину «автоматизация DevOps» — без llms.txt на целевом сайте, а затем с ним. Замеряли: появился ли сайт в ответе AI, и если да — как часто ссылается на указанные в llms.txt страницы. Тестирование проводилось 2-3 июня 2026 года.
| Система | Тип агента | Без llms.txt | С llms.txt | Разница |
|---|---|---|---|---|
| ChatGPT Search | Генеративный поиск | 12% цитирования | 17% | +42% |
| Perplexity Pro | Поиск + RAG | 8% | 14% | +75% |
| Google AI Overviews | Генеративная выдача | 5% | 6% | +20% |
| Claude Code (IDE-агент) | Автономный кодинг | 0% | 100% | +бесконечно |
| Cursor Chat (с Web Search) | IDE-агент | 2% | 45% | +22x |
| Microsoft Copilot (web) | Помощник | 10% | 18% | +80% |
| AutoGPT (плагин браузера) | Автономный агент | 0% | 33% | +33pp |
| Operator (OpenAI) | Браузерный агент | 0% | 27% | +27pp |
Главный вывод — llms.txt даёт кратный прирост цитируемости в IDE-агентах и автономных AI-агентах, но почти не влияет на классические генеративные поисковики (Google AIO, ChatGPT Search). Почему? Потому что эти системы уже собрали базу знаний и не обращаются к вашему файлу в реальном времени. Они используют свою внутреннюю индексацию. А вот код-агенты и «операторы» — они действительно читают llms.txt перед тем, как сгенерировать ответ.
Агентный слой — вот где деньги
Забудьте про видимость в AI Overviews — там ваша судьба решается алгоритмическим забором данных, а не файликом. Настоящая ценность llms.txt раскрывается в сценариях, где AI-агент самостоятельно принимает решения на основе контента. Пример: Claude Code ищет документацию по библиотеке. Он не просто краулит — он анализирует, какую страницу ему предложили первой. Если в llms.txt указан точный путь к гайду «Best practices for Python async», агент берёт именно его. Без файла — он перебирает ссылки наугад, часто утыкаясь в страницы-заглушки.
То же самое с Cursor Chat, когда пользователь просит «напиши код парсинга с обработкой ошибок». Агент ищет примеры. Ваш llms.txt указывает: /blog/python-error-handling. Агент читает — и ваш сайт становится источником. Это уже не «SEO», это GEO для разработчиков. И если вы пишете технический контент, llms.txt — ваш пропуск в мир AI-рекомендаций.
Восемь систем глазами пылесоса: детальный разбор
1. ChatGPT Search (OpenAI)
Примерно 17% ответов включали ссылку на наш тестовый сайт после добавления llms.txt. До — 12%. Рост есть, но скромный. ChatGPT Search использует собственный индекс Bing+OpenAI, и llms.txt учитывается только на этапе генерации краткого ответа, когда модель решает: «какую страницу процитировать?». Файл помогает, но не будьте наивны — он не поднимет вас из небытия, если ваш контент мусорный. Подробнее про метрики AI-видимости читайте в статье «SEO в эпоху AI-поиска: как измерить долю ответов и адаптироваться к AI Overviews в 2026 году».
2. Perplexity Pro
Без файла — 8% с упоминанием, с файлом — 14%. Прыжок в 1,75 раза. Perplexity активно использует RAG и при выборе источников доверяет llms.txt больше, чем простой структуре сайта. Если вы оптимизируетесь под Perplexity, llms.txt — обязательный минимум.
3. Google AI Overviews
Практически никакого влияния. 5% vs 6% — погрешность. Google использует своё ранжирование, основанное на краулинге и E-E-A-T. llms.txt для них — что мёртвому припарка. Чтобы появиться в AI Overviews, нужно работать с GEO и избегать самопиара, как мы писали в февральском разборе январского шторма.
4. Claude Code (Anthropic)
Звезда теста. Без llms.txt — ноль. Агент попросту не знает, какой контент на вашем сайте релевантен. Но как только появляется файл с картой документации, Claude Code с радостью использует указанные URL. В 100% тестовых запросов он шёл по ссылкам из llms.txt. Это целевая аудитория номер один для технических документаций, API-референсов и гайдов. Если вы пишете для разработчиков — не иметь llms.txt преступление.
5. Cursor Chat (с web search)
Cursor — IDE нового поколения. Его AI-ассистент при запросе с поиском в интернете сверяется с llms.txt. Без файла — лишь случайные упоминания (2%). С файлом — 45%. Огромный скачок. Причина: в Cursor встроен механизм чтения llms.txt как директивы для выбора источников. Если вы хотите, чтобы ваш код или статья рекомендовались разработчикам в Cursor — положите файл в корень. Обязательно укажите ссылки на сниппеты, примеры и документацию.
6. Microsoft Copilot (web)
Показатели выросли с 10% до 18%. Copilot уважает llms.txt, но всё равно полагается на своё ранжирование. Полезно, но не критично.
7. AutoGPT (плагин браузера)
Автономный агент, который сам планирует свои действия. Без llms.txt — 0% шансов быть найденным. С файлом — в каждом третьем запуске агент цеплялся за указанные страницы. AutoGPT — представитель нового класса AI-агентов, где llms.txt превращается в обязательную спецификацию. Скоро их станет больше.
8. Operator (OpenAI)
Браузерный ассистент, который выполняет задачи на сайтах. Без файла — 0% цитирования контента, с файлом — 27% (агент использовал страницы для шагов). Operator считывает llms.txt на начальном этапе, чтобы понять архитектуру сайта. Если вы хотите, чтобы Operator правильно использовал ваши кнопки, формы и контент — llms.txt станет для него лучшей картой.
Почему Google AIO и ChatGPT Search не дружат с llms.txt?
Потому что эти системы — не агенты, а генеративные поисковики. Они уже собрали свой индекс и не обращаются к живому llms.txt в момент ответа. Они работают по принципу: «у нас есть база знаний, по ней мы формируем ответ». llms.txt же нужен на этапе принятия решения о том, какие страницы использовать. Это прерогатива агентов, которые работают в реальном времени.
Важный нюанс: OpenAI и Anthropic уже заявили, что в будущих версиях их поисковые системы начнут учитывать llms.txt на этапе краулинга — но пока этого нет. Поэтому не ждите чуда от файла для обычного SEO.
Как использовать llms.txt, чтобы попасть в агенты: тактика
Мы уже писали подробный гайд по внедрению в статье «Как внедрить llms.txt на сайт: пошаговое руководство для SEO и AI-цитируемости». Но для агентов есть три золотых правила.
- Правило 1: указывайте ссылки на глубокие страницы, а не на главную. Агентам нужна конкретика: «/docs/installation», «/blog/async-python». Главная — бесполезна.
- Правило 2: добавляйте аннотации с кратким описанием. Например:
# /blog/devops-monitoring — практическое руководство по настройке Prometheus и Grafana (5000 слов). Агенты считывают эти описания, чтобы решить, подходит ли страница. - Правило 3: используйте единый llms.txt для всех поддоменов. Если у вас docs.example.com и blog.example.com, создайте на каждом свой файл, но перекрёстно ссылайтесь. Или разместите главный llms.txt на корневом домене.
Если вы серьёзно нацелены на попадание в ответы AI-агентов, вам потребуется не просто файл, а целая стратегия контента под генеративные системы. На курсе «AI-креатор: создаём контент с помощью нейросетей» разбирают, как структурировать информацию под RAG и писать такие статьи, которые AI будет цитировать дословно. Пригодится, если вы хотите быть в топе не только поиска Google, но и AI-агентов.
Что будет через год: llms.txt станет обязательным
Уже летом 2026 года браузерные агенты (Operator, AutoGPT, Web Agent) становятся мейнстримом. Каждый из них — ваш потенциальный пользователь. И каждый перед тем, как взаимодействовать с сайтом, посмотрит на llms.txt. Если его нет — агент либо ошибётся, либо потратит лишние ресурсы. Если есть — сайт получает приоритет в 3-4 раза чаще. Более того, по слухам, Google внедрит llms.txt как фактор для ранжирования в AI Overviews к концу года (но пока это только слухи).
Сейчас самое время не просто добавить файл, а научиться управлять контекстом, который AI-агенты получают о вашем сайте. Иначе через полгода ваши конкуренты — владельцы автономных AI-ассистентов — уже будут принимать решения вместо ваших клиентов, и ваш сайт останется невидимкой.
Хотите глубже разобраться, как поднять скорость взаимодействия AI с вашим сайтом? Прочитайте наш материал «Поиск для AI-агентов: сжимаем латентность с 3500 мс до 700 мс». А если нужно выстроить всю систему захвата ниши с помощью LLM от начала до конца — сверьтесь с антихаос-гайдом.
