Генератор robots.txt

robots.txt — это текстовый файл в корне сайта, который указывает поисковым краулерам, какие URL они могут или не могут запрашивать. Например, Disallow: /cart/ просит краулеры пропускать страницы корзины, чтобы краулинговый бюджет расходовался на страницы, важные для SEO. Это часть протокола Robots Exclusion Protocol (стандартизирован как RFC 9309), которого соблюдают Google, Bing, Яндекс и другие крупные краулеры. Но файл управляет обходом, а не доступом или безопасностью. Любой может прочитать ваш robots.txt по адресу yoursite.com/robots.txt — это не инструмент приватности.

Воспользуйтесь конструктором выше: выберите шаблон или добавьте группу правил, задайте User-agent (используйте * для всех краулеров), перечислите пути для Disallow или Allow, при необходимости добавьте Crawl-delay и вставьте URL карты сайта. Результат обновляется в реальном времени по мере ввода — нажмите «Копировать» или «Скачать», сохраните файл как robots.txt и загрузите его в корневую папку сайта, чтобы он был доступен по адресу https://yoursite.com/robots.txt. Знание кода не требуется, а тестер путей проверит правила до публикации.

Генератор robots.txt на TechnicalSEO.com и SEOptimer создают корректные файлы, но ни у одного нет встроенного тестера путей, который показывает, какое правило применяется к конкретному URL. Этот инструмент умеет: введите любой путь и имя краулера — он скажет, разрешают или запрещают ваши текущие правила доступ, используя ту же логику наибольшего совпадения, что применяет Google. Инструмент также в реальном времени отмечает типичные ошибки: отсутствующий начальный слэш, относительный URL карты сайта, Crawl-delay для Googlebot (который его игнорирует). Всё это работает в браузере без отправки данных на сервер.

Файл должен находиться в корневом каталоге домена и быть доступен строго по адресу https://yoursite.com/robots.txt — не в подпапке вроде /blog/robots.txt, которую краулеры игнорируют. Каждый поддомен требует собственного файла: blog.yoursite.com и shop.yoursite.com нуждаются в отдельных robots.txt. На WordPress его можно загрузить по FTP или через файловый менеджер хостинга (или использовать плагин Yoast SEO, который управляет им автоматически). На Blogger включите кастомный robots.txt в разделе Настройки → Настройки поиска.

User-agent указывает краулер, к которому применяется блок правил. User-agent: * охватывает все краулеры, а User-agent: Googlebot — только основной веб-краулер Google. Можно создать несколько групп — например, разрешить всем, но заблокировать GPTBot — каждый краулер соблюдает наиболее специфичную группу, совпадающую с его именем. Распространённые значения: Googlebot, Bingbot, YandexBot, Googlebot-Image, GPTBot (OpenAI, обучение ChatGPT), CCBot (Common Crawl, используется многими датасетами ИИ), Google-Extended (Gemini), ClaudeBot (Anthropic), PerplexityBot.

Disallow просит краулер не обходить совпадающие URL; Allow — разрешает. Allow в основном используется для создания исключения внутри запрещённой папки. Например, Disallow: /wp-admin/ плюс Allow: /wp-admin/admin-ajax.php блокирует раздел администрирования WordPress, но пропускает один AJAX-файл, который нужен плагинам. При конфликте правил Google следует наиболее специфичному (длинному) совпадающему пути, а при равной длине побеждает Allow. Bing использует ту же логику; Яндекс в ряде крайних случаев ведёт себя немного иначе.

Добавьте строку Sitemap: с полным абсолютным URL, например Sitemap: https://example.com/sitemap.xml. Она может находиться в любом месте файла и не привязана ни к какой группе User-agent; можно указать несколько карт сайта на отдельных строках. Вставьте URL в поле Sitemap выше — инструмент поставит строку корректно. Документация Google рекомендует использовать этот способ вместе с прямой подачей карты сайта в Search Console, поскольку оба метода помогают Google обнаружить все страницы.

Чтобы Google не обходил страницу, добавьте для её пути правило Disallow:, например Disallow: /draft-page/. Но блокировка обхода — не то же самое, что удаление страницы из результатов: заблокированный URL всё равно может быть проиндексирован, если на него ссылаются другие сайты. Чтобы страница точно не попала в Google, добавьте директиву noindex (meta name='robots' content='noindex') или заголовок X-Robots-Tag — и не блокируйте страницу в robots.txt, иначе Google не сможет обойти её и прочитать инструкцию noindex.

Нет. robots.txt управляет обходом, а не индексацией. Если вы запретите URL через Disallow, Google не будет загружать его содержимое, но сам URL всё равно может появиться в результатах — нередко без описания — если на него ссылаются другие страницы. Чтобы удалить страницу из индекса, используйте директиву noindex на самой странице и оставьте её доступной для обхода, чтобы Google мог прочитать эту директиву. Это одна из самых распространённых SEO-ошибок: люди добавляют правила Disallow, чтобы убрать страницы из поиска, а затем удивляются, почему те продолжают там отображаться.

В Google Search Console статус «Заблокировано robots.txt» означает, что Google обнаружил URL, но ваш robots.txt запретил его обходить — страница не была загружена или проиндексирована в ходе этого обхода. Если страница должна быть публичной, исправьте ситуацию, удалив или сузив соответствующее правило Disallow. Если блокировка намеренная — путь к административной панели, тестовому окружению или малоценной странице — её можно оставить. Используйте тестер путей в этом генераторе, чтобы точно увидеть, какое правило блокирует конкретный URL, прежде чем редактировать файл.

Crawl-delay просит краулер делать паузу в заданное количество секунд между запросами, чтобы снизить нагрузку на сервер. Crawl-delay: 10 означает примерно один запрос каждые 10 секунд. Bing и Яндекс соблюдают это значение; Googlebot полностью игнорирует Crawl-delay — для управления скоростью обхода Google настройте параметр в отчёте «Статистика обхода» в Search Console. Добавляйте Crawl-delay только если сервер действительно испытывает нагрузку от обхода, поскольку высокое значение замедляет индексирование сайта.

Нажмите шаблон WordPress или Blogger выше. Стандартный файл для WordPress блокирует раздел администрирования, оставляя нужный краулерам Ajax-файл: User-agent: * / Disallow: /wp-admin/ / Allow: /wp-admin/admin-ajax.php. Шаблон для Blogger разрешает всё, кроме страниц поиска: User-agent: * / Disallow: /search / Allow: /. Добавьте URL карты сайта, затем скопируйте результат в WordPress (через Yoast SEO или загрузив файл по FTP) или вставьте в Blogger в разделе Настройки → Настройки поиска → Свой robots.txt.

Воспользуйтесь тестером путей в этом инструменте: введите URL или путь (например /blog/post-1) и имя краулера — он покажет, разрешают или запрещают ваши текущие правила доступ, и какое конкретное правило Allow или Disallow решает это, используя ту же логику наибольшего совпадения, что применяет Google. Конструктор также в реальном времени предупреждает о типичных ошибках: путь без начального слэша, относительный URL карты сайта. После публикации проверьте живой файл в отчёте robots.txt Google Search Console и используйте инструмент проверки URL для отдельных страниц.

Использовать robots.txt безопасно, но это не инструмент защиты. Это публичный файл, который любой может прочитать по адресу yoursite.com/robots.txt — указание «секретной» папки в нём фактически рекламирует её всем желающим. Добросовестные краулеры — Google, Bing, Яндекс, Apple — соблюдают правила, но вредоносные боты могут их полностью игнорировать. Для защиты конфиденциальных страниц используйте настоящую аутентификацию (логин, пароли, ограничение по IP) или серверный контроль доступа. Никогда не полагайтесь на Disallow для сокрытия личных данных.

Добавьте отдельные группы User-agent для каждого ИИ-краулера обучения с Disallow: / для каждого. Основные из них: GPTBot (OpenAI / ChatGPT), CCBot (Common Crawl, используется многими датасетами ИИ), Google-Extended (Gemini и Vertex AI от Google), ClaudeBot (Anthropic / Claude), PerplexityBot, Applebot-Extended и meta-externalagent (Meta / Llama). Шаблон «Блокировка ИИ-ботов» в этом генераторе добавляет всех их одним кликом, не затрагивая обычные поисковые краулеры (Googlebot, Bingbot, YandexBot) — ваш контент остаётся проиндексированным.