В последствии такого, как я понаблюдал над поисковыми ботами Яндекса, сделал вывод, что боты заходят на вебсайт под разными ip адресами. В данный момент поведаю, что делает каждый бот:
Виды роботов Яндекса.
Yandex/1.01.001 (compatible; Win16; I) — основной индексирующий робот. Yandex/1.01.001 (compatible; Win16; P) — индексатор картинок. Yandex/1.01.001 (compatible; Win16; H) — робот, определяющий зеркала сайтов. Yandex/1.02.000 (compatible; Win16; F) — робот, индексирующий пиктограммы сайтов (favicons) Yandex/1.03.003 (compatible; Win16; D) — робот, обращающийся к странице при добавлении ее через форму «Добавить URL» Yandex/1.03.000 (compatible; Win16; M) — робот, обращающийся при открытии страницы по ссылке «Найденные слова» YaDirectBot/1.0 (compatible; Win16; I) — робот, индексирующий страницы сайтов, участвующих в Рекламной сети Яндекса. YandexBlog/0.99.101 (compatible; DOS3.30,B) – робот, индексирующий xml-файлы для поиска по блогам.
YandexSomething/1.0 – робот, индексирующий новостные потоки партнеров Яндекс-Новостей.
Bond, James Bond (version 0.07) — робот, заходящий на сайты из подсети Яндекса. Официально никогда не упоминался. Ходит выборочно по страницам. Referer не передает. Картинки не загружает. Судя по повадкам, робот занимается проверкой сайтов на нарушения – клоакинг и пр.
