Статья
robots.txt простыми словами: что это и как настроить
robots.txt — короткий текстовый файл с правилами для поисковых роботов: куда заходить можно, а куда не нужно. Одна лишняя строка в нём может убрать из поиска весь сайт — такое случается чаще, чем кажется. Разбираем, как он устроен и что в нём должно быть.
Что это такое
robots.txt лежит в корне сайта: вашсайт.ru/robots.txt. Робот поисковика, прежде чем обходить сайт, читает этот файл и следует правилам: какие разделы не обходить и где лежит карта сайта.
Посмотреть robots.txt можно у любого сайта — просто откройте этот адрес в браузере.
Как он устроен
Простой файл выглядит так — каждая строка с новой строки:
User-agent: *Disallow: /admin/Disallow: /cart/Allow: /Sitemap: https://вашсайт.ru/sitemap.xml
Это пример, а не готовый файл. Что значат строки:
| Строка | Что делает |
|---|---|
| User-agent | Для какого робота правила: * — для всех, Yandex — только для Яндекса |
| Disallow | Что не обходить: раздел, страницу, адреса с параметрами |
| Allow | Что обходить можно, даже если раздел выше закрыт |
| Sitemap | Где лежит карта сайта |
| Clean-param | Только для Яндекса: какие параметры адреса не меняют содержимое страницы — например, метки рекламы |
Строки Host и Crawl-delay из старых инструкций Яндекс больше не учитывает — их можно не писать.
Что обычно закрывают
- служебные разделы и административную панель;
- корзину, оформление заказа, личный кабинет;
- результаты поиска по сайту и страницы с фильтрами, которые создают тысячи почти одинаковых адресов;
- технические адреса — например, обработчики форм.
Не закрывайте файлы стилей и скриптов: Google отрисовывает страницу так, как её видит посетитель, и без них может решить, что сайт сломан.
Disallow — это не noindex
Частая ошибка — закрыть в robots.txt страницу, которую хотят убрать из поиска. Disallow запрещает роботу заходить на страницу, но если на неё ведут ссылки, Google может оставить адрес в выдаче — без описания. Чтобы страницы точно не было в поиске, её открывают для робота и ставят метатег noindex: робот зайдёт, увидит запрет и уберёт страницу.
Ошибки, которые закрывают весь сайт
Disallow: /после разработки. Пока сайт делается, его закрывают от поиска — и забывают открыть при запуске. Сайт работает, а в поиске его нет. Первое, что стоит проверить, если новый сайт не индексируется.- Опечатка в пути.
Disallow: /blogзакроет не только блог, но и всё, что начинается с этих букв, — например,/blogger. - Закрыта страница, которая указана в карте сайта. Роботу дают противоречивые указания.
Нейросети и robots.txt
У ИИ-сервисов свои роботы со своими именами. Их можно отдельно пустить или не пустить, указав имя в строке User-agent. Решите, хотите ли вы, чтобы нейросети цитировали ваш сайт: для бизнеса, которому важно попадать в ответы ИИ-помощников, закрывать их обычно незачем.
Как проверить
- В Яндекс Вебмастере есть анализатор robots.txt: он покажет ошибки в файле и разрешена ли конкретная страница. О кабинете — в статье «Яндекс Вебмастер».
- В Google Search Console — отчёт о файле robots.txt и проверка адреса.
Как это устроено у нас
Наш robots.txt — четыре строки: всем роботам разрешено всё, кроме служебного раздела /api/, через который работают формы, и в конце — ссылка на карту сайта. Карта собирается автоматически, о ней статья «Карта сайта sitemap.xml». При запуске каждого сайта мы проверяем, что он открыт для поиска и подтверждён в Вебмастере — это часть запуска.