Robots.txt і sitemap.xml: що вони роблять на сайті

Розумійте різницю між скануванням та індексацією

Файл robots.txt міститься у корені домену та задає правила для роботів, що їх дотримуються. Заборона сканування не дорівнює надійній забороні показу URL в результатах. Для сторінки, яку не треба індексувати, використовують відповідну директиву noindex за умови, що робот може прочитати її.

Не закривайте весь сайт після запуску, залишивши тестове правило Disallow: /. Перед зміною перевірте, які розділи реально потрібно обмежити і чи не блокуєте зображення або CSS, потрібні для розуміння сторінки.

У карту додавайте цільові адреси

sitemap.xml містить URL, які ви хочете показати пошуковій системі. До неї зазвичай включають важливі канонічні сторінки зі зрозумілим статусом, а не 404, тестові копії, випадкові параметри чи адреси з noindex. Після публікації нових матеріалів карта має оновлюватися.

Карта допомагає знайти URL, але не гарантує їхнього сканування чи індексації. Потрібні також доступні сторінки, нормальна навігація та зміст, що відповідає запиту. Про причини відсутності сторінок у пошуку є окремий матеріал про індексацію.

Звірте сигнали після перенесення

Коли сайт переїжджає на інший домен або платформу, помилки часто виникають не в самому файлі, а в суперечливих сигналах. Наприклад, sitemap уже показує нову адресу, canonical залишається на старому домені, а внутрішнє меню веде через редирект. Складіть контрольний список для кожного типу сторінки.

На WordPress перевірте постійні посилання, видимість сайту для пошукових систем, карту та можливі SEO-плагіни. Не налаштовуйте дві системи, які одночасно виводять різні canonical і meta description.

Слідкуйте за фактичними URL у Search Console

Надішліть адресу карти сайту в Search Console та перевірте важливі сторінки інструментом перевірки URL. Якщо одна сторінка не потрапила в індекс, дивіться конкретний статус, канонічну адресу, доступ до сканування й посилання з інших сторінок. Масова повторна відправка sitemap не виправить неправильної конфігурації.

Перед запуском користуйтеся чеклістом SEO-аудиту. Для переїзду корисна і наша стаття про перенесення на WordPress.

Приклад суперечливих сигналів

Уявімо сторінку послуги у sitemap, але її канонічний тег указує на стару копію, а сервер повертає редирект на інший розділ. Сама наявність адреси у файлі не виправить суперечності. Виберіть кінцевий URL, налаштуйте правильну відповідь сервера, зробіть його канонічним і оновіть внутрішнє посилання та карту. Для сторінок без цінності в пошуку перевірте, чи потрібні вони в sitemap взагалі.

Швидка перевірка перед запуском

• Відкрийте /robots.txt і знайдіть випадкову повну заборону сканування.
• Відкрийте sitemap у браузері та перевірте кілька реальних адрес.
• Порівняйте канонічний URL і адресу з карти для основної послуги.
• Переконайтеся, що посилання з меню веде на ту саму кінцеву сторінку.

Повторіть кроки після переходу на основний домен: тестове середовище й робочий сайт часто мають різні налаштування доступу.

Практика: звірте два файли з опублікованими сторінками

Відкрийте /robots.txt на своєму домені та перевірте групу правил для роботів. Рядок Disallow: / у відповідній групі закриває сканування всього сайту; на публічному сайті це часто випадковий залишок тестового режиму. Не видаляйте правила механічно: вони можуть обмежувати службові розділи. Спочатку з’ясуйте, що створює файл — хостинг, WordPress або SEO-плагін.

Перейдіть за адресою Sitemap, яка реально вказана у файлі. Карта може бути індексом із кількома дочірніми файлами. Виберіть кілька URL: вони мають відкриватися, бути основними адресами й відповідати сторінкам, які ви хочете показувати в пошуку. Не потрібно паралельно подавати кілька генераторів карт лише заради кількості.

Якщо сторінку потрібно вилучити з пошуку, відділяйте цю задачу від заборони сканування. Noindex працює, коли робот може відвідати сторінку й прочитати директиву. Для приватної інформації потрібен контроль доступу, наприклад авторизація. Sitemap не гарантує індексацію кожного URL, але допомагає повідомити про сторінки та підтримувати послідовну структуру.