InSyncInSyncGEO Autopilot

robots.txt і AI-краулери: як не закрити сайт від ChatGPT

Антон ТисячнікАнтон Тисячнік, засновник InSync AgencyОновлено: 26 жовтня 20267 хв читання

Щоб нейромережі могли брати ваш сайт у джерела, у robots.txt не повинно бути заборон для GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot і PerplexityBot. Відкрийте адресу вашсайт.com/robots.txt, знайдіть блоки з цими іменами і приберіть із них рядок Disallow: /. Перевірка займає три хвилини, правка зазвичай зводиться до одного рядка.

Навіщо нейромережам доступ до сайту і до чого тут robots.txt

robots.txt — текстовий файл у корені сайту. У ньому ви кажете роботам, які розділи можна обходити, а які не варто чіпати. Великі компанії заявляють, що їхні краулери читають цей файл і дотримуються його правил.

Сайт потрібен нейромережам у двох різних сценаріях. Перший: збір даних для навчання моделей. Другий: пошук джерел у момент, коли користувач уже поставив запитання і система йде дивитися живі сторінки.

Для бізнесу важливіший другий сценарій. ChatGPT із пошуком значною мірою спирається на індекс Bing, Gemini і AI Overviews — на Google, Perplexity показує посилання на джерела прямо у відповіді. Якщо потрібні боти закриті, ваші сторінки не потрапляють у той набір, із якого складається відповідь.

При цьому robots.txt працює як прохання. Його дотримуються компанії, які самі про це заявили; технічний захист контенту вирішується вже на рівні сервера, а не цим файлом.

Які AI-краулери заходять на сайт: список імен

Імена ботів варто знати напам'ять: саме їх ви шукаєте в robots.txt і в логах сервера.

КраулерЧийНавіщо заходитьЯкщо закрити
GPTBotOpenAIЗбір даних для навчання моделейКонтент не потрапить у навчальні набори; на відповіді з пошуком впливає слабше
OAI-SearchBotOpenAIІндексація сторінок для пошуку всередині ChatGPTСайт не потрапить у джерела ChatGPT із пошуком
ChatGPT-UserOpenAIВідкриває сторінку за запитом користувача або агентаChatGPT не покаже вміст сторінки у відповіді
ClaudeBotAnthropicОбхід сайтів для ClaudeClaude не побачить ваші матеріали під час обходу
PerplexityBotPerplexityІндексація для відповідей із посиланнямиСайт не опиниться в блоці джерел Perplexity
Google-ExtendedGoogleКерує використанням контенту в Gemini та AI-відповідяхНа звичайний пошук Google не впливає, на участь в AI-відповідях впливає

Google-Extended стоїть окремо: це не окремий краулер, а перемикач для контенту, який Google вже отримав через Googlebot.

Як перевірити свій robots.txt за три хвилини

  1. Відкрийте у браузері адресу вашсайт.com/robots.txt. Якщо віддається 404, файлу немає: заборон теж немає, але файл краще створити.
  2. Натисніть Ctrl+F і пошукайте по черзі: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot, Google-Extended, а потім рядок User-agent: *.
  3. Під кожним знайденим блоком подивіться рядки Disallow. Значення «/» закриває весь сайт. Порожнє значення після двокрапки означає, що обхід дозволено.
  4. Перевірте, що файл лежить саме в корені домену. Правила з вашсайт.com/blog/robots.txt роботи не застосовують.
  5. Переконайтеся, що сервер віддає файл кодом 200 і звичайним текстом, без редиректу на сторінку авторизації чи заглушку.

Окремо загляньте в панель хостингу і CDN. Багато провайдерів додали перемикач на кшталт «блокувати AI-ботів»: robots.txt при цьому виглядає відкритим, а краулер отримує 403 і йде геть. Якщо хочете одразу побачити картину з боку нейромереж, пройдіть перевірку AI-видимості бізнесу.

Хочете знати, де ваш сайт зараз? Безкоштовно: перевірка для нейромереж, план на 30 днів і перша стаття за 3–6 хвилин.

Отримати план

Як виглядає robots.txt, який відкриває сайт нейромережам

Для більшості сайтів вистачає одного загального блоку. Мінімальний робочий варіант складається з таких рядків:

  • User-agent: *
  • Disallow: — значення порожнє, обхід дозволено
  • Disallow: /wp-admin/ — службові розділи можна закрити
  • Allow: /wp-admin/admin-ajax.php
  • Sitemap: https://вашсайт.com/sitemap.xml

Окремі блоки для GPTBot і решти ботів тут не потрібні: правило для «*» поширюється на всіх, кому не адресований персональний блок. Рядок Sitemap допомагає роботу знайти повний список сторінок замість обходу за посиланнями.

Якщо хочете зафіксувати рішення щодо кожного бота явно, додайте для кожного свій блок: User-agent: GPTBot, нижче порожній Disallow, і так само для OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot і Google-Extended. Так у файлі видно, що жодного з них не забуто.

Запам'ятайте головну механіку: бот виконує тільки той блок, який названий його іменем. Є персональний блок для GPTBot — правила з «*» він уже не читає. Звідси й береться часта ситуація, коли в загальному блоці все відкрито, а в персональному залишився Disallow: /.

Типові помилки, через які сайт закритий від нейромереж

Пройдіться списком і відзначте, що з цього є у вас.

  • Disallow: / з етапу розробки. Сайт збирали на тестовому домені, закрили повністю і забули відкрити після перенесення.
  • Персональний блок перебиває загальний. У «*» заборон немає, а в блоці для GPTBot або PerplexityBot стоїть «/».
  • Помилка в імені бота. Правило для GPT-Bot або OAI_SearchBot не застосовується ні до кого: ім'я має збігатися, хоча регістр літер ролі не відіграє.
  • Скопійований чужий robots.txt. Разом із ним переїжджають заборони на розділи, яких у вас немає, і список блокувань AI-ботів зі статті про захист контенту.
  • Закриті скрипти і стилі. Заборона на папки з CSS і JS частково ламає відображення сторінки для роботів, які її рендерять.
  • Під заборону потрапив блог. Правила на кшталт Disallow: /*? або Disallow: /page/ іноді закривають пагінацію і сторінки фільтрів разом із корисними матеріалами.
  • Плутанина між Disallow і noindex. Disallow забороняє обхід сторінки, noindex забороняє її показ у видачі. Якщо потрібно прибрати сторінку з результатів, обхід їй якраз залишають відкритим.
  • Блокування на рівні CDN або плагіна безпеки. Файл чистий, а бота відбиває захист від ботів.

А якщо я не хочу віддавати контент на навчання моделей?

Це робоче бажання, і його можна відокремити від потрапляння у відповіді. Логіка проста: закрийте краулери навчання, залиште відкритими ті, що шукають джерела для відповіді.

  • Закрити: GPTBot, ClaudeBot, Google-Extended.
  • Залишити відкритими: OAI-SearchBot, ChatGPT-User, PerplexityBot.

Чесно про межі цього рішення: robots.txt не захищає контент. Він дає інструкцію тим, хто погодився її читати, і нічого не робить із парсерами, які правила ігнорують. Якщо контент потрібно реально закрити, це рівень авторизації і серверних обмежень.

Для бізнесу, який хоче, щоб нейромережі його рекомендували, ми радимо відкривати все. Ви продаєте послуги, а не текст статей: згадка у відповіді приносить клієнта, а закритий сайт просто випадає з розгляду. Детальніше про те, як складається потрапляння у відповіді, у гайді як потрапити у відповіді ChatGPT.

robots.txt відкритий. Що далі?

Відкритий доступ тільки пускає роботів усередину. Далі вирішує те, що вони там знайдуть: зрозумілі title і description, розмітка Schema.org у форматі JSON-LD, FAQ-блоки, робочий sitemap.xml і сторінки, які відповідають на запитання клієнтів словами клієнтів.

Поруч із robots.txt часто згадують файл llms.txt. Це формат, запропонований у 2024 році (llmstxt.org), а не офіційний стандарт: підтримка з боку великих нейромереж не гарантована. Зробити його можна хвилин за двадцять, але чекати від нього ефекту замість нормального контенту не варто.

Ці перевірки ми зібрали у 8 технічних факторів: сайт відповідає, title, meta description, Schema.org JSON-LD, FAQ-розмітка, llms.txt, AI-краулери дозволені в robots.txt, sitemap.xml. На insync.com.ua ми довели їх до 100/100 за власним аудитом і отримали 0 → 24 цитування сайту в ChatGPT приблизно за півтора тижня після запуску GEO-контуру. За категорійними запитами на кшталт «найкраще агентство» нас поки не називають, і це показує, що техніка відкриває двері, а далі працюють контент і зовнішні згадки.

Усе це перевіряється і робиться автоматично в GEO Autopilot. Ви вводите адресу сайту і через 3–6 хвилин отримуєте перевірку за 8 факторами, список тих, кого нейромережі радять замість вас за питаннями ваших клієнтів, план із 8 статей на 30 днів і першу статтю, написану під ваш сайт. Це безкоштовний розбір AI-видимості до будь-якої оплати, на сайті.

Часті запитання

Чи потрібен robots.txt, якщо я нічого не хочу закривати?

Так, файл краще мати, і він повинен віддаватися кодом 200. Порожній Disallow і рядок Sitemap дають роботу зрозумілий сигнал і адресу карти сайту. Відсутність файлу формально не забороняє обхід, але наявність robots.txt із дозволеними AI-краулерами входить у 8 факторів технічної готовності, за якими ми перевіряємо сайти.

Чим GPTBot відрізняється від OAI-SearchBot і ChatGPT-User?

За описом OpenAI, GPTBot збирає дані для навчання моделей, OAI-SearchBot індексує сторінки для пошуку всередині ChatGPT, а ChatGPT-User відкриває конкретну сторінку в момент запиту користувача або агента. Якщо вам потрібні згадки у відповідях, критичні другий і третій. Навчання при цьому можна закрити окремим блоком.

Заборона для Google-Extended прибере сайт зі звичайного пошуку Google?

Ні. За даними самого Google, Google-Extended керує використанням контенту в Gemini і в AI-відповідях, а звичайна індексація йде через Googlebot. Органічний пошук від такої заборони не страждає, але участь в AI-відповідях може обмежитися.

Я прибрав Disallow. Коли чекати згадок у ChatGPT?

Одразу нічого не станеться: доступ відкритий, але контент ще потрібно створити і проіндексувати. Індексація нових сторінок у Google зазвичай займає 2–3 тижні, перші згадки у відповідях нейромереж зазвичай з'являються через 1–3 місяці. Гарантувати «топ-1 у ChatGPT» не може ніхто, тому ми вимірюємо результат щомісячними замірами, а не обіцянками.

Як зрозуміти, що AI-боти дійсно заходять на сайт?

Подивіться логи сервера або аналітику CDN і відфільтруйте візити за user-agent: GPTBot, OAI-SearchBot, ChatGPT-User, ClaudeBot, PerplexityBot. Якщо за тиждень немає жодного такого візиту, спочатку перечитайте robots.txt, потім перевірте налаштування захисту на хостингу і CDN. Перемикач блокування AI-ботів у панелі провайдера в самому файлі ніяк не відображається.

Перевірте, чи бачать нейромережі ваш сайт

Введіть адресу сайту: перевіримо його для нейромереж, покажемо, кого радять замість вас, зберемо план на 30 днів і безкоштовно напишемо першу статтю. 3–6 хвилин.

Читайте також