Файл robots.txt — это текстовый файл, размещаемый в корне сайта (например, https://site.ru/robots.txt), который указывает поисковым роботам, какие разделы сайта можно индексировать, а какие — нет.
Почему robots.txt критически важен для SEO
Если файл отсутствует или содержит ошибки, поисковые системы могут:
- Индексировать служебные страницы (корзина, личный кабинет),
- Пропустить важные разделы из-за запрета,
- Расходовать краулинговый бюджет на бесполезные URL.
Хуже всего — если в robots.txt случайно запрещена индексация всего сайта (Disallow: /). В этом случае сайт исчезает из поиска.
Каким должен быть правильный robots.txt
- Доступным по адресу
/robots.txtс кодом ответа 200, - Содержать только нужные директивы — без синтаксических ошибок,
- Не блокировать важные ресурсы — CSS, JS, изображения (если они нужны для отрисовки),
- Разрешать индексацию основного контента,
- Запрещать служебные разделы — /admin/, /cart/, /user/ и т.д.
Как RIVVA помогает контролировать robots.txt
RIVVA автоматически проверяет наличие и содержимое файла robots.txt и выявляет:
- Отсутствие файла,
- Ошибки HTTP (403, 404, 500),
- Запрет индексации всего сайта (
Disallow: /), - Блокировку важных ресурсов (CSS/JS),
- Синтаксические ошибки (неправильные директивы).
При обнаружении ошибки — вы увидите 🔴 красный индикатор в панели. Нажмите на него — и скачайте подробный отчёт.
Что делать, если robots.txt некорректен
1. Скачайте отчёт из RIVVA.
2. Проверьте файл через Google Search Console или Яндекс.Вебмастер.
3. Исправьте ошибки — уберите лишние запреты, добавьте нужные.
4. Запустите повторное сканирование — убедитесь, что ошибка устранена.
5. Запросите переиндексацию в вебмастерах.
Особое внимание уделите миграциям (HTTP → HTTPS, www → non-www) — часто файл копируется без изменений, и роботы получают противоречивые инструкции.
Вывод
Файл robots.txt — это «дорожная карта» для поисковых роботов. Его корректность напрямую влияет на то, какие страницы попадут в индекс, а значит — и на видимость сайта в поиске. Не игнорируйте этот параметр — контролируйте его автоматически с помощью RIVVA.