Итог: версия robots.txt для вордпресса

Уже писал тут свой вариант, нашлось несколько недочетов.
Что в итоге вышло:

1. User-agent: *
2. Disallow: /xmlrpc.php
3. Disallow: /wp-
4. Disallow: feed
5. Disallow: /page/*
6. Disallow: /?s=
7. Sitemap: http://site.ru/sitemap.xml
8. Sitemap: http://site.ru/sitemap.xml.gz
9. User-agent: Yandex
10. Host: site.ru

Это вариант под мои пермалинки (%postname%.html), установленный wp-pagenavi. Не стал заморачиватся с вариантом под все чпу, все равно я делаю везде как у меня на блоге. Host отдельным блоком для яндекса, кроме него все равно никто эту директиву не понимает.

О порядке, которым руководствовался при составлении, тут.

На закуску.

• Еще один вариант robots.txt для wordpress
• robots.txt для вордпресса
• Host для wordpress — нужен или нет