Нужен ли сайту llms.txt и что это вообще такое

Нейросеть берёт сайты для ответа из поиска

Яндекс прямо пишет, что ответы Алисы AI «строятся с опорой на результаты поиска». Новых требований к сайтам из-за этого нет. У ChatGPT свой поиск и свой робот для него, OAI-SearchBot, так сказано в справке OpenAI для владельцев сайтов.

Сотрудник Google Джон Мюллер в июне 2026 года объяснил в подкасте компании, почему llms.txt здесь не помогает. По сути сайт пишет в нём «у меня лучший сайт на свете», а рассказ сайта о себе нечем проверить. Поэтому сначала проверьте, есть ли ваш сайт в поиске.

Кто за две недели открыл наш llms.txt 60 раз

С 16 по 30 сентября 2026 года наш robots.txt открыли 887 раз, llms.txt 60 раз. Так показывает журнал сервера, в нём записано, какая программа и когда открыла адрес. Вот кто приходил за llms.txt.

• 15 раз небольшой поисковик YaCy;
• 13 раз наш собственный робот проверки сайта;
• 10 раз сканеры сервисов для продвижения сайтов;
• около 20 раз люди из обычного браузера;
• 4 раза прочие программы;
• 0 раз роботы ChatGPT, Claude и Perplexity.

Большой замер похож на наш. Сервис Ahrefs в июне 2026 года проверил 137 210 сайтов. llms.txt был у 38 360 из них, и 97 % этих файлов за май не запросил никто.

Файл и задумывали для программ-помощников, которые выполняют задачу на сайте вместо человека. По описанию формата на llmstxt.org, такая программа открывает llms.txt и по ссылкам из него находит нужное. По данным Ahrefs, помощник для программистов Claude Code брал файл чаще любого поискового робота нейросетей. А поисковые роботы нейросетей все вместе дали всего 1,1 % запросов к llms.txt.

Рассказ о сайте пишет сам сайт, и сверить его некому

В llms.txt сайт рассказывает о себе сам, и ошибку в этом рассказе со стороны никто не поймает. Наш файл создаётся автоматически, а перед выкладкой проверка сверяет в нём только число проектов. Число сходилось, и три неверные строки прошли.

Файл писал, что у нас есть парсеры, а таких проектов нет. Ещё он рассказывал о нашем открытом замере, где мы задаём нейросетям 24 вопроса и смотрим, назовут ли нас. По словам файла, мы каждый раз спрашиваем четыре нейросети, а во второй раз спрашивали три. И будто в каждом замере 96 проверок, хотя во втором был 71 ответ.

Нашли мы эти строки, только когда прочитали файл строку за строкой. Все три мы исправили 30 сентября.

Пока файл открывают только сканеры и люди, вреда нет. Но программа-помощник, ради которой файл и делают, поверит ему на слово и расскажет человеку о направлении, которого у вас нет. Заметить такую строку можете только вы, сверив файл со страницами.

Проверьте сайт в поиске, прежде чем писать файл

Нейросети берут сайты из поиска, а место в поиске, в отличие от рассказа сайта о себе, можно проверить. Начните с него.

1. Добавьте сайт в Яндекс Вебмастер кнопкой «Добавить сайт» на webmaster.yandex.ru и подтвердите права, то есть докажите, что сайт ваш. Проверка занимает до суток.
2. Откройте отчёт «Страницы в поиске» и найдите нужные страницы со статусом «В поиске». После обхода робота страницы могут появиться в поиске в течение двух недель. Если нужной нет, разберитесь, почему страницы нет в поиске.
3. Откройте ваш-сайт.ru/robots.txt и поищите там такую пару строк:

   User-agent: *
   Disallow: /

   Вместо звёздочки может стоять OAI-SearchBot, имя поискового робота ChatGPT. Эта пара закрывает роботу весь сайт, и ChatGPT не покажет сайт в ответах своего поиска. Уберите запрет.

Если файла нет, ради ответов нейросетей его не делайте. Он пригодится, когда по сайту ходят программы-помощники, например у вас документация для программистов. Как его собрать и что делать с файлом от генератора, сказано в вопросах ниже.

Частые вопросы