# robots.txt простыми словами: что это и как настроить

23 октября 2026 г. · 2 мин чтения · Студия AETHER · https://aether-studio.ru/blog/robots-txt

robots.txt — короткий текстовый файл с правилами для поисковых роботов: куда заходить можно, а куда не нужно. Одна лишняя строка в нём может убрать из поиска весь сайт — такое случается чаще, чем кажется. Разбираем, как он устроен и что в нём должно быть.

## Что это такое

robots.txt лежит в корне сайта: `вашсайт.ru/robots.txt`. Робот поисковика, прежде чем обходить сайт, читает этот файл и следует правилам: какие разделы не обходить и где лежит карта сайта.

Посмотреть robots.txt можно у любого сайта — просто откройте этот адрес в браузере.

## Как он устроен

Простой файл выглядит так — каждая строка с новой строки:

- `User-agent: *`
- `Disallow: /admin/`
- `Disallow: /cart/`
- `Allow: /`
- `Sitemap: https://вашсайт.ru/sitemap.xml`

Это пример, а не готовый файл. Что значат строки:

| Строка | Что делает |
| --- | --- |
| User-agent | Для какого робота правила: `*` — для всех, `Yandex` — только для Яндекса |
| Disallow | Что не обходить: раздел, страницу, адреса с параметрами |
| Allow | Что обходить можно, даже если раздел выше закрыт |
| Sitemap | Где лежит карта сайта |
| Clean-param | Только для Яндекса: какие параметры адреса не меняют содержимое страницы — например, метки рекламы |

Строки `Host` и `Crawl-delay` из старых инструкций Яндекс больше не учитывает — их можно не писать.

## Что обычно закрывают

- служебные разделы и административную панель;
- корзину, оформление заказа, личный кабинет;
- результаты поиска по сайту и страницы с фильтрами, которые создают тысячи почти одинаковых адресов;
- технические адреса — например, обработчики форм.

Не закрывайте файлы стилей и скриптов: Google отрисовывает страницу так, как её видит посетитель, и без них может решить, что сайт сломан.

## Disallow — это не noindex

Частая ошибка — закрыть в robots.txt страницу, которую хотят убрать из поиска. Disallow запрещает роботу заходить на страницу, но если на неё ведут ссылки, Google может оставить адрес в выдаче — без описания. Чтобы страницы точно не было в поиске, её открывают для робота и ставят метатег noindex: робот зайдёт, увидит запрет и уберёт страницу.

## Ошибки, которые закрывают весь сайт

- **`Disallow: /` после разработки.** Пока сайт делается, его закрывают от поиска — и забывают открыть при запуске. Сайт работает, а в поиске его нет. Первое, что стоит проверить, если новый сайт не индексируется.
- **Опечатка в пути.** `Disallow: /blog` закроет не только блог, но и всё, что начинается с этих букв, — например, `/blogger`.
- **Закрыта страница, которая указана в карте сайта.** Роботу дают противоречивые указания.

## Нейросети и robots.txt

У ИИ-сервисов свои роботы со своими именами. Их можно отдельно пустить или не пустить, указав имя в строке User-agent. Решите, хотите ли вы, чтобы нейросети цитировали ваш сайт: для бизнеса, которому важно попадать в ответы ИИ-помощников, закрывать их обычно незачем.

## Как проверить

- В Яндекс Вебмастере есть анализатор robots.txt: он покажет ошибки в файле и разрешена ли конкретная страница. О кабинете — в статье [«Яндекс Вебмастер»](https://aether-studio.ru/blog/yandeks-vebmaster).
- В Google Search Console — отчёт о файле robots.txt и проверка адреса.

## Как это устроено у нас

Наш robots.txt — четыре строки: всем роботам разрешено всё, кроме служебного раздела `/api/`, через который работают формы, и в конце — ссылка на карту сайта. Карта собирается автоматически, о ней статья [«Карта сайта sitemap.xml»](https://aether-studio.ru/blog/sitemap-xml). При запуске каждого сайта мы проверяем, что он открыт для поиска и подтверждён в Вебмастере — это часть [запуска](https://aether-studio.ru/services/launch).

**Обсудим ваш сайт.** Ответим в течение рабочего дня, зададим несколько вопросов и назовём вилку по сроку и бюджету. Бесплатно и без обязательств. Написать: [Telegram @aether_agency](https://t.me/aether_agency), почта aether-studio@mail.ru, форма — https://aether-studio.ru/#contact.