Статья
Noindex: как закрыть страницу от поиска
Noindex — указание поисковикам не добавлять страницу в поиск. Им закрывают служебные страницы, дубли, черновики и всё, что людям из поиска показывать незачем. Ошибка здесь стоит дорого: случайный noindex на важной странице убирает её из выдачи. Разбираем, как работает noindex, чем он отличается от robots.txt и nofollow и где его ставят.
Что это такое
Noindex ставят в код страницы метатегом:
<meta name="robots" content="noindex">— робот прочитает страницу, но в поиск её не добавит.
То же самое можно передать заголовком ответа сервера X-Robots-Tag: noindex. Так закрывают файлы, у которых нет HTML-кода: PDF, текстовые файлы, документы.
noindex, nofollow и robots.txt
| Инструмент | Что делает | Когда нужен |
|---|---|---|
| noindex | Не добавлять страницу в поиск | Служебные страницы, дубли, страница «спасибо за заявку» |
| nofollow | Не учитывать ссылки: все на странице — в метатеге, одну — в атрибуте ссылки | Ссылки на непроверенные сайты, рекламные ссылки |
| robots.txt | Не заходить на страницу или раздел | Корзина, результаты поиска, служебные папки |
Важная деталь: если запретить страницу в robots.txt, робот на неё не зайдёт и не увидит noindex. Поэтому, чтобы убрать страницу из поиска, ставят noindex и не запрещают обход, пока она не исчезнет из выдачи. О robots.txt — статья «robots.txt простыми словами».
Тег noindex у Яндекса
У Яндекса есть свой тег <noindex>…</noindex>. Он закрывает от индексации не всю страницу, а часть текста внутри неё — например, повторяющийся блок или служебную надпись. Google этот тег не понимает.
Что обычно закрывают
- Страницу «спасибо за заявку», корзину, личный кабинет.
- Результаты поиска по сайту и страницы фильтров с множеством вариантов.
- Служебные версии страниц: для печати, текстовые версии для программ.
- Черновики и тестовые страницы — их надёжнее вообще закрыть паролем.
Частые ошибки
- Noindex остался с тестовой версии. Сайт запустили, а на всех страницах осталась запись «не индексировать». Самая частая и самая дорогая ошибка: сайт месяцами не появляется в поиске.
- Noindex и запрет в robots.txt одновременно — робот не видит noindex.
- Noindex на страницах, которые приносят посетителей: категориях, разделах каталога. Некоторые плагины систем управления ставят его по умолчанию — проверьте настройки.
Как проверить
- Откройте код страницы и найдите слово
noindex. - В Яндекс Вебмастере, в разделе «Страницы в поиске», видно исключённые страницы и причину.
- В Search Console такие страницы отмечены как «Excluded by 'noindex' tag» — подробно в статье «Google Search Console».
Как устроено у нас
Текстовые версии наших страниц для нейросетей и файл /llms.txt отдаются с заголовком X-Robots-Tag: noindex. Программам они полезны, а в поиске должны быть обычные страницы. Поэтому в Search Console эти файлы видны как исключённые тегом noindex — так и задумано.
Базовая подготовка к поиску входит в наш корпоративный сайт.