Уже писал тут свой вариант, нашлось несколько недочетов.
Что в итоге вышло:
- User-agent: *
- Disallow: /xmlrpc.php
- Disallow: /wp-
- Disallow: feed
- Disallow: /page/*
- Disallow: /?s=
- Sitemap: http://site.ru/sitemap.xml
- Sitemap: http://site.ru/sitemap.xml.gz
- User-agent: Yandex
- Host: site.ru
Это вариант под мои пермалинки (%postname%.html), установленный wp-pagenavi. Не стал заморачиватся с вариантом под все чпу, все равно я делаю везде как у меня на блоге. Host отдельным блоком для яндекса, кроме него все равно никто эту директиву не понимает.
О порядке, которым руководствовался при составлении, тут.
3 комментария
Саня, спасибо, попользуем)
Тут еще одна статья про robots.txt… 🙂
Сразу вопрос — а разве не надо ставить пустой перенос перд строкой 9 ?
Пустую строку ставят скорее для людей, нежели для ботов. Тулзы из панелей для вебмастеров не ругаются на нее.