Попереписывался со службой поддержки яндекса на тему как надо распологать директивы в robots.txt.
Итого вышло следующее.
- Директива User-agent. Сначала прописываем секцию для отдельного бота. Или не прописываем, если она для всех общая.
- Директива Host. Понимает ее только яндекс, поэтому лучше выносить ее в секцию для яндекса.
- Директивы Disallow и Allow. Разрешаем/запрещаем пути по сайту.
- Директива Crawl-delay. Как показывает практика, очень полезна для бота яху. Очень он любит весь сайт облазить потоков в 50.
- Директива Clean-param. Недавно появилась у яндекса. Понимает ее тоже только он. В отдельную секцию.
- Директивы Sitemap. Понимаю ее все боты, но вот Платон Щукин порекомендовал вынести ее в конец. Послушаем его.
Небольшая заметочка.Я где-то читал, что директиву Allow не рекомендуют использовать. На оффсайте роботса также расписаны примеры разрешения индексации без Allow как, например:
User-agent: * Disallow: /
Порядок расположения не строго регламентирован. Можно распологать и в своем порядке, незнакомые инструкции просто будут игнорированы. Например, Sitemap, расположенный в начале, отлично видится основными ботами.
Проверить можно в панели вебмастера у яндекса .
Comments are closed.