Как управлять индексированием сайта

Void

Виртуозы
Регистрация
2 Фев 2013
Сообщения
518,645
Владелец сайта может влиять на то, как индексируется его ресурс.

Например, вы можете запросто закрыть для поисковой системы определённые разделы своего сайта. Для этого нужно добавить соответствующие команды в файл robots.txt — он находится в корневой папке сайта. Именно к этому файлу обращаются поисковые роботы, чтобы узнать, что можно индексировать, а что нет.

Поисковые системы исходят из того, что индексировать можно всё, что не запрещено. Поэтому владельцу сайта нужно самому позаботиться о том, чтобы в поиск не попала конфиденциальная информация — например, личные данные пользователей, их переписка или счета. Такие страницы нужно запретить индексировать. Рекомендуем также закрыть страницы со служебной информацией и страницы-дубликаты.

Многие системы управления сайтами (CMS) автоматически создают файл robots.txt и команды для роботов. Проверить, правильно ли настроены команды, можно на сервисе Яндекс.Вебмастер — с помощью инструмента «Анализатор robots.txt»:


https://video.yandex.ru/users/ya-expert/view/67


Анализатор помогает найти ошибки в файле robots.txt, проверить, все ли команды прописаны верно и понятны роботу, и узнать, разрешена ли к индексированию конкретная страница.


Файл robots.txt позволяет закрыть для индексирования весь контент страницы. Если вы хотите закрыть только какую-то часть контента, используйте мета-тег noindex. Этот тег не даёт индексировать заключенный в него текст, но не мешает поисковой системе переходить по ссылкам внутри текста.


[h=1]Совет[/h]Чтобы узнать, какие разделы сайта и в каком объёме уже проиндексированы, воспользуйтесь инструментом «Структура сайта» в Яндекс.Вебмастере.


[h=1]Задание[/h]Попробуйте проанализировать файл robots.txt.


Источник: https://edu.expert.yandex.ru/Webmaster/3/25
 
Последнее редактирование:
Сверху