Статья
Индексация сайта: как проверить и ускорить
Пока страницы нет в индексе поисковика, её не найдёт ни один клиент — сколько бы сил ни ушло на текст и дизайн. Разбираем, как проверить индексацию в Яндексе и Google, что означают статусы в их кабинетах и как помочь новым страницам попасть в поиск быстрее.
Что такое индексация
Поисковый робот заходит на страницу, читает её и решает, добавить ли её в свою базу — индекс. Только страницы из индекса могут появиться в выдаче. Важно различать:
- в индексе — поисковик знает страницу и может её показать;
- в топе — страница показывается высоко по нужным запросам.
Индексация — первый шаг. Без неё до позиций дело не доходит.
Как проверить в Яндексе
- Яндекс Вебмастер → Индексирование → Страницы в поиске. Здесь список страниц, которые есть в поиске, и тех, что из него исключены, с причиной.
- Проверить статус URL. Вставляете адрес страницы — Вебмастер покажет, когда робот её посещал и есть ли она в поиске.
- Оператор
site:. Запросsite:вашсайт.ruв Яндексе покажет страницы сайта в выдаче. Это быстрая, но приблизительная проверка.
Как проверить в Google
- Search Console → Индексирование страниц. Сколько страниц проиндексировано и почему остальные нет.
- Проверка URL. Покажет статус конкретной страницы, а кнопка «Проверить страницу на сайте» — как робот видит её прямо сейчас.
- Оператор
site:работает и в Google.
Почему страницы нет в индексе
Сначала исключите технические причины — их можно исправить сразу:
- страница закрыта в
robots.txtили метатегомnoindex; - адрес отдаёт ошибку или перенаправляет на другой;
- на странице указан канонический адрес другой страницы;
- страница дублирует другую — например, одна и та же статья по двум адресам.
Если технически всё в порядке, причина в решении поисковика. В кабинетах это выглядит так:
| Статус | Что значит |
|---|---|
| «Обнаружена, не проиндексирована» (Google) | Робот знает адрес, но ещё не заходил. Обычное дело для новых сайтов и второстепенных страниц |
| «Просканирована, но пока не проиндексирована» (Google) | Робот зашёл и отложил решение. Часто проходит само через несколько дней или недель |
| «Страница с переадресацией» (Google) | Адрес перенаправляет на другой — например, http на https. Это не ошибка |
| «Малоценная или маловостребованная страница» (Яндекс) | Яндекс счёл, что страница мало что добавляет к уже известному. Нужно усиливать содержание |
Мы видели это и на своём сайте: новая статья в день публикации получила в Google статус «Просканирована, но пока не проиндексирована», а адрес без https — «Страница с переадресацией». Первое — повод подождать и подтолкнуть, второе — так и должно быть.
Как ускорить индексацию
- Карта сайта. Файл
sitemap.xmlсо списком страниц добавьте в Вебмастер и Search Console — роботы будут сверяться с ним. - Переобход в Яндексе. В Вебмастере есть «Переобход страниц»: отправляете адреса новых или изменённых страниц. Лимит на день ограничен — отправляйте главное.
- IndexNow. Протокол, по которому сайт сам сообщает поисковикам о новых страницах. Яндекс его поддерживает, Google — нет.
- Запрос в Google. В Search Console: «Проверка URL» → «Запросить индексирование». Запросов в день немного — тратьте их на новые важные страницы.
- Ссылки. Робот быстрее находит страницу, на которую ведут ссылки с главной, из меню и с других страниц сайта. Страница, на которую не ведёт ни одна ссылка, может ждать месяцами.
Новый сайт индексируется медленнее старого: поисковикам нужно время, чтобы начать ему доверять. Первые недели это нормально.
Что не помогает
- Повторные запросы по одной странице каждый день. Робот уже знает о ней — чаще он не придёт.
- Сервисы «быстрой индексации» за деньги. Чаще всего это прогон ссылок с мусорных сайтов, который скорее навредит.
- Много однотипных страниц. Сотня страниц «услуга + город» с одинаковым текстом попадёт в малоценные, а не в индекс.
Что мы делаем при запуске
В каждом нашем проекте сайт с первого дня готов к индексации: подключено защищённое соединение (HTTPS), сайт подтверждён в Яндекс Вебмастере и в нём есть карта сайта — это часть запуска, который входит в стоимость разработки. При переезде со старого сайта настраиваем переадресацию со старых адресов, чтобы не потерять страницы, которые уже в поиске, — об этом в статье «Редизайн сайта».