Порядок расположения директив в robots.txt

Попереписывался со службой поддержки яндекса на тему как надо распологать директивы в robots.txt.

Итого вышло следующее.

  1. Директива User-agent. Сначала прописываем секцию для отдельного бота. Или не прописываем, если она для всех общая.
  2. Директива Host. Понимает ее только яндекс, поэтому лучше выносить ее в секцию для яндекса.
  3. Директивы Disallow и Allow. Разрешаем/запрещаем пути по сайту.
  4. Директива Crawl-delay. Как показывает практика, очень полезна для бота яху. Очень он любит весь сайт облазить потоков в 50.
  5. Директива Clean-param. Недавно появилась у яндекса. Понимает ее тоже только он. В отдельную секцию.
  6. Директивы Sitemap. Понимаю ее все боты, но вот Платон Щукин порекомендовал вынести ее в конец. Послушаем его.

Небольшая заметочка.Я где-то читал, что директиву Allow не рекомендуют использовать. На оффсайте роботса также расписаны примеры разрешения индексации без Allow как, например:

User-agent: *
Disallow: /

Порядок расположения не строго регламентирован. Можно распологать и в своем порядке, незнакомые инструкции просто будут игнорированы. Например, Sitemap, расположенный в начале, отлично видится основными ботами.
Проверить можно в панели вебмастера у яндекса .

0.00 avg. rating (0% score) - 0 votes

Comments are closed.

css.php