Правильная версия файла robot.txt

[Mar$hall]

приветствую форумчан!

Кучу материала перелопатил по этому вопросу и решил спросить об этом у знающих вебмастеров.
Какой он все таки ПРАВИЛЬНЫЙ robot.txt для блога на wordpress ??

 

[Delta_X]

приветствую форумчан!

Кучу материала перелопатил по этому вопросу и решил спросить об этом у знающих вебмастеров.
Какой он все таки ПРАВИЛЬНЫЙ robot.txt для блога на wordpress ??

Robots.txt это просто инструмент и не зависит от CMS.

Все зависит от того, что именно вы хотите сообщить поисковикам. Все это делается в robots.txt

Важный момент ИМХО - это конечно указать основной домен яндексу, а также карту сайта. Все остальное на усмотрение.

 

[Millenium]

Зайдите на разные популярные блоги на вордпресс и смотрите как у них устроено. Сделайте выводы и применяйте к своему сайту.

 

[Millenium]

Я в таких случаях так и делаю.

Проверить cms сайта можно тут: 2ip.ru
а robots.txt любого сайта можно посмотреть domen.com/robots.txt

Ну и было бы неплохо прочитать руководства гугла и яндекса по настройке robots.txt

 

[Mar$hall]

cms я указал лишь потому, что на нескольких ресурсах делали на этом акцент.

Все зависит от того, что именно вы хотите сообщить поисковикам

вот я и хочу узнать, что лучше показывать поисковикам, а что нельзя.
Прочитал, например что гугл чуть ли не требует доступа к файлам шаблона, а яндекс может выругаться на это.
Проблема в том, что все материалы которые я находил двухлетней и более давности.

 

[Mar$hall]

Зайдите на разные популярные блоги на вордпресс и смотрите как у них устроено. Сделайте выводы и применяйте к своему сайту.

и почему вы думаете, что я этого не сделал до того как написал на форуме?

 

[Void]

вот я и хочу узнать, что лучше показывать поисковикам, а что нельзя.

То что должно быть индексировано ( статьи и изображения ) надо сообщить. Хотя достаточно адреса статей, картинки сам найдет гугл.
Остальное можно запретить. Хотя это не обязательно.
А карту сайта можно добавить сразу в консоли яндекса и гугла. Не обязательно сообщить в robots.txt, хотя не помешает.

 

[Millenium]

и почему вы думаете, что я этого не сделал до того как написал на форуме?

Собственно я об этом вообще не думал. Какой смысл гадать? ))

 

[Mar$hall]

User-agent: *
Allow: /wp-content/themes/frontend
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: */feed
Disallow: */author

User-agent: Googlebot-Image
Allow: /wp-content/uploads/

User-agent: YandexImages
Allow: /wp-content/uploads/
host: site.ru
Sitemap: http://site.ru/sitemap.xml

вот как один из вариантов, выделил жирным вторую строку, это папка с активной темой. Это если делать с учетом требований гугла

 

[Delta_X]

User-agent: YandexImages
Allow: /wp-content/uploads/
host: site.ru
Sitemap: http://site.ru/sitemap.xml

Надо отделить YandexImages и Yandex

User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: Yandex
host: site.ru
Sitemap: [url]http://site.ru/sitemap.xml[/url]

 

[Void]

вот как один из вариантов, выделил жирным вторую строку, это папка с активной темой. Это если делать с учетом требований гугла

Там все нормально вроде бы, а Yandex и YandexImages разные боты. Их действительно нужно отделить, как указали выше.

 

[Mar$hall]

Надо отделить YandexImages и Yandex

Код:
User-agent: YandexImages
Allow: /wp-content/uploads/

User-agent: Yandex
host: site.ru
Sitemap: http://site.ru/sitemap.xml

т.е. хотите сказать что акцент на картинки не обязательно делать?

 

[Mar$hall]

ну видимо, для бота yandex действует общее условие, а для YandexImages отдельное. я еще плохо в этом разбираюсь

 

[Void]

т.е. хотите сказать что акцент на картинки не обязательно делать?

Ну в той части, где Вы разрешили боту Yandex Images индексировать указанную директорию, Вы тем самым сообщили нужному боту где искать картинки.

 

[Void]

ну видимо, для бота yandex действует общее условие, а для YandexImages отдельное. я еще плохо в этом разбираюсь

Дело не только в условиях, а в том, что yandex images индексирует только картинки. А основной бот остальное.

 

[Mar$hall]

В общем решил остановиться на таком варианте

User-agent: *
Allow: /wp-content/themes/newsanchor/
Allow: /wp-content/plugins/
Allow: /wp-includes/js/
Allow: /wp-content/uploads/
Disallow: /wp-admin
Disallow: /wp-content
Disallow: /wp-includes
Disallow: /wp-comments
Disallow: /wp-login.php
Disallow: /wp-register.php
Disallow: */trackback
Disallow: /xmlrpc.php
Disallow: */feed
Disallow: */author

host: site.ru

Sitemap: http://site.ru/sitemap.xml

 

[Void]

В общем решил остановиться на таком варианте

host: понимает только Яндекс, лучше бы указать специально для Яндекс Бота. Хотя и так должно работать.

 

[Mar$hall]

В общем решил остановиться на таком варианте
host: понимает только Яндекс, лучше бы указать специально для Яндекс Бота. Хотя и так должно работать.

тоже решил что и так должно работать

 

[Mar$hall]

Ну что ж, буду пробовать с вышеуказанным примером, все спасибо за содействие!