Как управлять индексированием сайта

Void

Виртуозы
Регистрация
2 Фев 2013
Сообщения
518,645
[h=1]Чтобы попасть в поиск, сайт должен быть доступен для поисковых роботов. Иначе они не смогут его проиндексировать.[/h]





Одна из причин недоступности сайта — это сбой на сервере. В этом случае не только поисковые роботы, но и пользователи не смогут зайти на сайт. А если он будет недоступен продолжительное время, поисковые системы удалят его из своих баз, чтобы поддерживать их в актуальном состоянии. Поэтому важно следить за тем, чтобы сервер исправно отвечал на запросы.



Проверить, отвечает сервер или нет, можно на сервисе Яндекс.Вебмастер:








https://video.yandex.ru/users/ya-expert/view/66


Если сайт отвечает на запрос и доступен для поискового робота,Яндекс.Вебмастер показывает статус 200. Остальные статусы передают какую-то другую информацию. Например, статус 404 обозначает, что запрашиваемая страница была удалена. Описание статусов можно найти в разделе«Помощь» сервиса Яндекс.Вебмастер.



[h=1]У многих сервисов Яндекса есть свой поисковый робот.[/h]Например, свой робот есть у Поиска, Яндекс.Картинок, Яндекс.Видео, Яндекс.Каталога. И у каждого робота свои задачи и правила работы. Иногда сервер может быть настроен так, что он пропускает на сайт основной робот Яндекса, но не жалует роботов Яндекс.Видео и Яндекс.Картинок — это значит, что контент сайта, скорее всего, не попадёт на эти сервисы. Поэтому, если вы заметили, что какой-то тип контента плохо индексируется, проверьте, попадает ли нужный робот на ваш ресурс.

Совет



На сервисе Яндекс.Вебмастер вы можете получать уведомления о сбое в индексировании сайта. Если вы хотите получать уведомления о том, что сайт недоступен для пользователей, воспользуйтесь Яндекс.Метрикой. Она умеет присылать такие уведомления по смс или электронной почте.
[h=1]Задание[/h]Попробуйте узнать, попадают ли на ваш сайт роботы Яндекс.Картинок, Яндекс.Видео и основной робот Яндекса. Обратите внимание, что инструмент доступен только для подтверждённых сайтов.

Источник: https://edu.expert.yandex.ru/Webmaster/3/24/
 
Сверху