Итог: версия robots.txt для вордпресса

Уже писал тут свой вариант, нашлось несколько недочетов.
Что в итоге вышло:

  1. User-agent: *
  2. Disallow: /xmlrpc.php
  3. Disallow: /wp-
  4. Disallow: feed
  5. Disallow: /page/*
  6. Disallow: /?s=
  7. Sitemap: http://site.ru/sitemap.xml
  8. Sitemap: http://site.ru/sitemap.xml.gz
  9. User-agent: Yandex
  10. Host: site.ru

Это вариант под мои пермалинки (%postname%.html), установленный wp-pagenavi. Не стал заморачиватся с вариантом под все чпу, все равно я делаю везде как у меня на блоге. Host отдельным блоком для яндекса, кроме него все равно никто эту директиву не понимает.

О порядке, которым руководствовался при составлении, тут.

0.00 avg. rating (0% score) - 0 votes

3 комментария

  • Саня, спасибо, попользуем)

  • Тут еще одна статья про robots.txt… 🙂
    Сразу вопрос — а разве не надо ставить пустой перенос перд строкой 9 ?

css.php