InSyncInSyncGEO Autopilot

robots.txt и AI-краулеры: как не закрыть сайт от ChatGPT

Антон ТысячникАнтон Тысячник, основатель InSync AgencyОбновлено: 26 октября 20267 мин чтения

Чтобы нейросети могли брать ваш сайт в источники, в robots.txt не должно быть запретов для GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot и PerplexityBot. Откройте адрес вашсайт.com/robots.txt, найдите блоки с этими именами и уберите из них строку Disallow: /. Проверка занимает три минуты, правка обычно сводится к одной строке.

Зачем нейросетям доступ к сайту и при чём здесь robots.txt

robots.txt — текстовый файл в корне сайта. В нём вы говорите роботам, какие разделы можно обходить, а какие трогать не нужно. Крупные компании заявляют, что их краулеры читают этот файл и следуют его правилам.

Сайт нужен нейросетям в двух разных сценариях. Первый: сбор данных для обучения моделей. Второй: поиск источников в момент, когда пользователь уже задал вопрос и система идёт смотреть живые страницы.

Для бизнеса важнее второй сценарий. ChatGPT с поиском во многом опирается на индекс Bing, Gemini и AI Overviews — на Google, Perplexity показывает ссылки на источники прямо в ответе. Если нужные боты закрыты, ваши страницы не попадают в тот набор, из которого собирается ответ.

При этом robots.txt работает как просьба. Его соблюдают компании, которые сами об этом объявили; техническая защита контента решается уже на уровне сервера, а не этим файлом.

Какие AI-краулеры заходят на сайт: список имён

Имена ботов стоит знать наизусть: именно их вы ищете в robots.txt и в логах сервера.

КраулерЧейЗачем заходитЕсли закрыть
GPTBotOpenAIСбор данных для обучения моделейКонтент не попадёт в обучающие наборы; на ответы с поиском влияет слабее
OAI-SearchBotOpenAIИндексация страниц для поиска внутри ChatGPTСайт не попадёт в источники ChatGPT с поиском
ChatGPT-UserOpenAIОткрывает страницу по запросу пользователя или агентаChatGPT не покажет содержимое страницы в ответе
ClaudeBotAnthropicОбход сайтов для ClaudeClaude не увидит ваши материалы при обходе
PerplexityBotPerplexityИндексация для ответов со ссылкамиСайт не окажется в блоке источников Perplexity
Google-ExtendedGoogleУправляет использованием контента в Gemini и AI-ответахНа обычный поиск Google не влияет, на участие в AI-ответах влияет

Google-Extended стоит особняком: это не отдельный краулер, а переключатель для контента, который Google уже получил через Googlebot.

Как проверить свой robots.txt за три минуты

  1. Откройте в браузере адрес вашсайт.com/robots.txt. Если отдаётся 404, файла нет: запретов тоже нет, но файл лучше создать.
  2. Нажмите Ctrl+F и поищите по очереди: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, а затем строку User-agent: *.
  3. Под каждым найденным блоком посмотрите строки Disallow. Значение «/» закрывает весь сайт. Пустое значение после двоеточия означает, что обход разрешён.
  4. Проверьте, что файл лежит именно в корне домена. Правила из вашсайт.com/blog/robots.txt роботы не применяют.
  5. Убедитесь, что сервер отдаёт файл кодом 200 и обычным текстом, без редиректа на страницу авторизации или заглушку.

Отдельно загляните в панель хостинга и CDN. Многие провайдеры добавили переключатель вида «блокировать AI-ботов»: robots.txt при этом выглядит открытым, а краулер получает 403 и уходит. Если хотите сразу увидеть картину со стороны нейросетей, пройдите проверку AI-видимости бизнеса.

Хотите знать, где ваш сайт сейчас? Бесплатно: проверка для нейросетей, план на 30 дней и первая статья за 3–6 минут.

Получить план

Как выглядит robots.txt, который открывает сайт нейросетям

Для большинства сайтов хватает одного общего блока. Минимальный рабочий вариант состоит из таких строк:

  • User-agent: *
  • Disallow: — значение пустое, обход разрешён
  • Disallow: /wp-admin/ — служебные разделы можно закрыть
  • Allow: /wp-admin/admin-ajax.php
  • Sitemap: https://вашсайт.com/sitemap.xml

Отдельные блоки для GPTBot и остальных ботов тут не нужны: правило для «*» распространяется на всех, кому не адресован персональный блок. Строка Sitemap помогает роботу найти полный список страниц вместо обхода по ссылкам.

Если вы хотите зафиксировать решение по каждому боту явно, добавьте для каждого свой блок: User-agent: GPTBot, ниже пустой Disallow, и так же для OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot и Google-Extended. Так в файле видно, что ни один из них не забыт.

Запомните главную механику: бот выполняет только тот блок, который назван его именем. Есть персональный блок для GPTBot — правила из «*» он уже не читает. Отсюда и берётся частая ситуация, когда в общем блоке всё открыто, а в персональном остался Disallow: /.

Типичные ошибки, из-за которых сайт закрыт от нейросетей

Пройдите по списку и отметьте, что из этого есть у вас.

  • Disallow: / с этапа разработки. Сайт собирали на тестовом домене, закрыли целиком и забыли открыть после переноса.
  • Персональный блок перебивает общий. В «*» запретов нет, а в блоке для GPTBot или PerplexityBot стоит «/».
  • Опечатка в имени бота. Правило для GPT-Bot или OAI_SearchBot не применяется ни к кому: имя должно совпадать, хотя регистр букв роли не играет.
  • Скопированный чужой robots.txt. Вместе с ним переезжают запреты на разделы, которых у вас нет, и список блокировок AI-ботов из статьи про защиту контента.
  • Закрытые скрипты и стили. Запрет на папки с CSS и JS частично ломает отображение страницы для роботов, которые её рендерят.
  • Под запрет попал блог. Правила вида Disallow: /*? или Disallow: /page/ иногда закрывают пагинацию и страницы фильтров вместе с полезными материалами.
  • Путаница между Disallow и noindex. Disallow запрещает обход страницы, noindex запрещает её показ в выдаче. Если нужно убрать страницу из результатов, обход ей как раз оставляют открытым.
  • Блокировка на уровне CDN или плагина безопасности. Файл чистый, а бота отбивает защита от ботов.

А если я не хочу отдавать контент на обучение моделей?

Это рабочее желание, и его можно разделить от попадания в ответы. Логика простая: закройте краулеры обучения, оставьте открытыми те, что ищут источники для ответа.

  • Закрыть: GPTBot, ClaudeBot, Google-Extended.
  • Оставить открытыми: OAI-SearchBot, ChatGPT-User, PerplexityBot.

Честно о границах этого решения: robots.txt не защищает контент. Он даёт инструкцию тем, кто согласился её читать, и ничего не делает с парсерами, которые правила игнорируют. Если контент нужно реально закрыть, это уровень авторизации и серверных ограничений.

Для бизнеса, который хочет, чтобы нейросети его рекомендовали, мы советуем открывать всё. Вы продаёте услуги, а не текст статей: упоминание в ответе приносит клиента, а закрытый сайт просто выпадает из рассмотрения. Подробнее о том, как складывается попадание в ответы, в гайде как попасть в ответы ChatGPT.

robots.txt открыт. Что дальше?

Открытый доступ только пускает роботов внутрь. Дальше решает то, что они там найдут: внятные title и description, разметка Schema.org в формате JSON-LD, FAQ-блоки, рабочий sitemap.xml и страницы, которые отвечают на вопросы клиентов словами клиентов.

Рядом с robots.txt часто вспоминают файл llms.txt. Это формат, предложенный в 2024 году (llmstxt.org), а не официальный стандарт: поддержка со стороны крупных нейросетей не гарантирована. Сделать его стоит минут за двадцать, но ждать от него эффекта вместо нормального контента не нужно.

Эти проверки мы собрали в 8 технических факторов: сайт отвечает, title, meta description, Schema.org JSON-LD, FAQ-разметка, llms.txt, AI-краулеры разрешены в robots.txt, sitemap.xml. На insync.com.ua мы довели их до 100/100 по собственному аудиту и получили 0 → 24 цитирования сайта в ChatGPT примерно за полторы недели после запуска GEO-контура. По категорийным запросам вида «лучшее агентство» нас пока не называют, и это показывает, что техника открывает дверь, а дальше работают контент и внешние упоминания.

Всё это проверяется и делается автоматически в GEO Autopilot. Вы вводите адрес сайта и через 3–6 минут получаете проверку по 8 факторам, список тех, кого нейросети советуют вместо вас по вопросам ваших клиентов, план из 8 статей на 30 дней и первую статью, написанную под ваш сайт. Это бесплатный разбор AI-видимости до любой оплаты, на сайте.

Частые вопросы

Нужен ли robots.txt, если я ничего не хочу закрывать?

Да, файл лучше иметь, и он должен отдаваться кодом 200. Пустой Disallow и строка Sitemap дают роботу понятный сигнал и адрес карты сайта. Отсутствие файла формально не запрещает обход, но наличие robots.txt с разрешёнными AI-краулерами входит в 8 факторов технической готовности, по которым мы проверяем сайты.

Чем GPTBot отличается от OAI-SearchBot и ChatGPT-User?

По описанию OpenAI, GPTBot собирает данные для обучения моделей, OAI-SearchBot индексирует страницы для поиска внутри ChatGPT, а ChatGPT-User открывает конкретную страницу в момент запроса пользователя или агента. Если вам нужны упоминания в ответах, критичны второй и третий. Обучение при этом можно закрыть отдельным блоком.

Запрет для Google-Extended уберёт сайт из обычного поиска Google?

Нет. По данным самого Google, Google-Extended управляет использованием контента в Gemini и в AI-ответах, а обычное индексирование идёт через Googlebot. Органический поиск от такого запрета не страдает, но участие в AI-ответах может ограничиться.

Я убрал Disallow. Когда ждать упоминаний в ChatGPT?

Сразу ничего не произойдёт: доступ открыт, но контент ещё нужно создать и проиндексировать. Индексация новых страниц в Google обычно занимает 2–3 недели, первые упоминания в ответах нейросетей обычно появляются через 1–3 месяца. Гарантировать «топ-1 в ChatGPT» не может никто, поэтому мы измеряем результат ежемесячными замерами, а не обещаниями.

Как понять, что AI-боты действительно заходят на сайт?

Посмотрите логи сервера или аналитику CDN и отфильтруйте визиты по user-agent: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot. Если за неделю нет ни одного такого визита, сначала перечитайте robots.txt, затем проверьте настройки защиты на хостинге и CDN. Переключатель блокировки AI-ботов в панели провайдера в самом файле никак не отражается.

Проверьте, видят ли нейросети ваш сайт

Введите адрес сайта: проверим его для нейросетей, покажем, кого советуют вместо вас, соберём план на 30 дней и бесплатно напишем первую статью. 3–6 минут.

Читайте также