Боты Яндекса - Yandex Bots
Список ботов яндекса, которые обращаются к сайтам, определить их можно по следующим User-Agent:
Yandex/1.03.003 (compatible; Win16; D) - бот, обращающийся к странице при добавлении ее через форму “Добавить URL”
Yandex/1.02.000 (compatible; Win16; F) - индексация иконок сайта (favicon)
Yandex/1.01.001 (compatible; Win16; H) - определение зеркал сайта
Yandex/1.01.001 (compatible; Win16; I) - основной (главный) индексирующий робот
Yandex/1.03.000 (compatible; Win16; M) - робот, обращающийся при открытии страницы по ссылке “Найденные слова”
Yandex/1.01.001 (compatible; Win16; P) - индексатор картинок
YaDirectBot/1.0 (compatible; Win 16; I) - индексация страниц сайта, участвующего в рекламной сети Яндекс.Директ
YandexSomething/1.0 - робот, индексирующий новостные потоки партнеров Яндекс-Новостей
YandexBlog/0.99.101 (compatible; DOS3.30,B) - робот, индексирующий xml-файлы для поиска по блогам.
Также у существуют боты, которые проверяют документы на доступность:
Yandex/2.01.000 (compatible; Win16; Dyatel; Z) - Яндекс.Закладки.
Yandex/2.01.000 (compatible; Win16; Dyatel; C) - Яндекс.Каталог. Если сайт недоступен в течение нескольких дней, он снимается с публикации и после его доступности вновь появляется
Yandex/2.01.000 (compatible; Win16; Dyatel; D) - Яндекс.Директ. Она проверяет корректность гиперссылок из объявлений перед постановкой на модерацию.
Данные боты Яндекса посещают сайт для его индексации.