Robots.txt управляет обходом

Файл robots.txt сообщает поддерживающим его роботам, какие пути можно сканировать. Он относится к конкретному хосту и протоколу. Это не защита паролем и не универсальный способ убрать адрес из поиска: URL может быть известен по ссылкам даже при запрете обхода.

Если страницу нужно исключить из результатов, обычно рассматривают noindex при доступном сканировании или ограничение доступа для действительно закрытой информации. Нельзя рассчитывать, что робот прочитает noindex внутри страницы, к которой robots.txt не даёт доступа.

Два файла, разные задачи: robots.txt: правила обхода; sitemap.xml: список URL; noindex: отдельная директива; Canonical: основной URL; Ни один не гарантирует индекс
Два файла, разные задачи

Sitemap сообщает о нужных адресах

XML-карта сайта помогает обнаружить страницы. В неё стоит включать актуальные канонические URL, которые должны индексироваться. Старые перенаправления, ошибки, тестовый домен и намеренно исключённые страницы создают противоречивые сигналы.

Успешно прочитанная карта не гарантирует индексацию всех URL. Полезный материал также должен быть доступен из структуры сайта и соответствовать своему назначению.

Проверка robots.txt по шагам

  1. Откройте файл на рабочем домене и проверьте HTTP-ответ.
  2. Найдите группу правил для нужного робота и путь проблемной страницы.
  3. Проверьте, не остался ли полный запрет после тестирования или переноса.
  4. Убедитесь, что нужные ресурсы страницы не заблокированы без причины.
  5. После изменения проверьте фактический опубликованный файл.

Не копируйте универсальный набор Disallow без понимания структуры сайта. Правило, подходящее одному магазину, может закрыть нужные страницы другого.

Проверка sitemap на примерах

Возьмите главную, услугу, статью и языковые версии. Откройте их адреса из XML: конечная страница должна соответствовать указанной. Проверьте canonical, отсутствие случайного noindex и реальность изображений, если они перечислены в карте.

Особенно внимательно ищите адрес тестового домена, ссылки на старые пути и несуществующие файлы. Обнаружить эти ошибки проще на небольшой выборке, затем можно проверить весь список автоматически.

Что означает тайм-аут в PageSpeed

Сообщение «не удалось загрузить robots.txt» с тайм-аутом означает, что конкретная проверка не получила ресурс вовремя. Оно не доказывает ошибку синтаксиса. Проверьте повторяемость, работу сервера и защиты, а также доступные данные обхода в Search Console.

Если Google тоже регулярно не может получить файл, это требует отдельного внимания. Но по одному сообщению Lighthouse нельзя уверенно объяснить все низкие позиции сайта.

После исправления

Очистите соответствующий кеш, проверьте реальные ответы и при необходимости повторно отправьте карту в Search Console. Не используйте ежедневную повторную отправку вместо устранения причины. Для конкретного исключённого URL смотрите диагностику индексирования, а для дубликатов — canonical.

Нужен план для вашего сайта?
Посмотрите наши услуги: SEO-продвижение, стоимость работ или обсудите задачу.