Комментарии: Еще один вариант robots.txt для wordpress http://alexvolkov.ru/eshhe-odin-variant-robots-txt-dlya-wordpress.html cat /var/log/life.log | grep -E "life|work|etc" Mon, 06 Feb 2012 10:14:00 +0000 hourly 1 http://wordpress.org/?v=3.3.1 Автор: Akella27 http://alexvolkov.ru/eshhe-odin-variant-robots-txt-dlya-wordpress.html/comment-page-1#comment-15263 Akella27 Sun, 03 Jan 2010 13:46:14 +0000 http://alexvolkov.ru/?p=1490#comment-15263 Не знал, что вебархив еще индексирует Не знал, что вебархив еще индексирует

]]> Автор: f1-speed http://alexvolkov.ru/eshhe-odin-variant-robots-txt-dlya-wordpress.html/comment-page-1#comment-14934 f1-speed Sat, 26 Dec 2009 14:44:00 +0000 http://alexvolkov.ru/?p=1490#comment-14934 Странный какой-то сайтмап, даже если бы тег Allow был, так мы бы разрешили доступ ко всему во второй строчке для всех юзер-агентов, зачем ниже еще раз для отдельных указывать тоже самое. Странный какой-то сайтмап, даже если бы тег Allow был, так мы бы разрешили доступ ко всему во второй строчке для всех юзер-агентов, зачем ниже еще раз для отдельных указывать тоже самое.

]]> Автор: Rumba http://alexvolkov.ru/eshhe-odin-variant-robots-txt-dlya-wordpress.html/comment-page-1#comment-14497 Rumba Tue, 15 Dec 2009 13:07:36 +0000 http://alexvolkov.ru/?p=1490#comment-14497 Яндексом нормально должен проиндексироваться, запретов ведь нет для яши никаких, файл под Гугл рассчитан. Яндексом нормально должен проиндексироваться, запретов ведь нет для яши никаких, файл под Гугл рассчитан.

]]> Автор: Search Bot http://alexvolkov.ru/eshhe-odin-variant-robots-txt-dlya-wordpress.html/comment-page-1#comment-14478 Search Bot Tue, 15 Dec 2009 07:08:27 +0000 http://alexvolkov.ru/?p=1490#comment-14478 Убедили :) Убедили :)

]]> Автор: Alex Volkov http://alexvolkov.ru/eshhe-odin-variant-robots-txt-dlya-wordpress.html/comment-page-1#comment-14456 Alex Volkov Mon, 14 Dec 2009 19:52:29 +0000 http://alexvolkov.ru/?p=1490#comment-14456 <strong>Search Bot</strong>, ну так буржуи ведь, чего с них взять. Хотя вот проверил в панели такую конструкцию: <blockquote>User-agent: * Allow: /</blockquote> Получил: <blockquote> * Используемые секции Строка 1-2 User-agent: * Allow: / Результаты проверки URL URL Результат http://alexvolkov.ru разрешен Search Bot, ну так буржуи ведь, чего с них взять.
Хотя вот проверил в панели такую конструкцию:

User-agent: *
Allow: /

Получил:

*
Используемые секции

Строка

1-2
User-agent: *
Allow: /

Результаты проверки URL
URL Результат
http://alexvolkov.ru разрешен

]]> Автор: Search Bot http://alexvolkov.ru/eshhe-odin-variant-robots-txt-dlya-wordpress.html/comment-page-1#comment-14454 Search Bot Mon, 14 Dec 2009 19:41:22 +0000 http://alexvolkov.ru/?p=1490#comment-14454 @<a href="http://alexvolkov.ru/" rel="nofollow">Alex Volkov</a>: Яндекса среди них не было) @Alex Volkov: Яндекса среди них не было)

]]> Автор: Alex Volkov http://alexvolkov.ru/eshhe-odin-variant-robots-txt-dlya-wordpress.html/comment-page-1#comment-14453 Alex Volkov Mon, 14 Dec 2009 18:33:15 +0000 http://alexvolkov.ru/?p=1490#comment-14453 Хотя вот погуглив, нашел такой док <blockquote>In June, 2008 webwide search engine companies Yahoo, Google, and Microsoft agreed to extend the Robots Exclusion Protocol. They added elements to robots.txt: an Allow directive, wildcards in URLs, and a link to a sitemap for ease of crawling, IP authentication to identify search engine indexing robots, the X-Robots-Tag header field for non HTML documents, and some additional META robot tag attributes. </blockquote> http://www.searchtools.com/robots/robots-txt.html Хотя вот погуглив, нашел такой док

In June, 2008 webwide search engine companies Yahoo, Google, and Microsoft agreed to extend the Robots Exclusion Protocol. They added elements to robots.txt: an Allow directive, wildcards in URLs, and a link to a sitemap for ease of crawling, IP authentication to identify search engine indexing robots, the X-Robots-Tag header field for non HTML documents, and some additional META robot tag attributes.

http://www.searchtools.com/robots/robots-txt.html

]]> Автор: Alex Volkov http://alexvolkov.ru/eshhe-odin-variant-robots-txt-dlya-wordpress.html/comment-page-1#comment-14451 Alex Volkov Mon, 14 Dec 2009 18:20:56 +0000 http://alexvolkov.ru/?p=1490#comment-14451 <strong>Search Bot</strong>, ну да, как-то сразу и не обратил внимания )) <strong>handmade</strong>, только в примере туда зачем-то сам роботс засунули. Обычно там указывают карты в хтмл и хмл Search Bot, ну да, как-то сразу и не обратил внимания ))
handmade, только в примере туда зачем-то сам роботс засунули. Обычно там указывают карты в хтмл и хмл

]]> Автор: Search Bot http://alexvolkov.ru/eshhe-odin-variant-robots-txt-dlya-wordpress.html/comment-page-1#comment-14447 Search Bot Mon, 14 Dec 2009 17:47:31 +0000 http://alexvolkov.ru/?p=1490#comment-14447 А разве существetn такая директива, как Allow? А разве существetn такая директива, как Allow?

]]> Автор: handmade http://alexvolkov.ru/eshhe-odin-variant-robots-txt-dlya-wordpress.html/comment-page-1#comment-14446 handmade Mon, 14 Dec 2009 17:44:36 +0000 http://alexvolkov.ru/?p=1490#comment-14446 Большое спасибо, как раз искала что-то подобное.  А вот о том, что в роботс можно сайтмэп запихнуть я не знала. Большое спасибо, как раз искала что-то подобное.  А вот о том, что в роботс можно сайтмэп запихнуть я не знала.

]]>