Noindex

В продолжение тематики про NoFollow и DoFollow сегодня хочу рассказать про тег NoIndex. Следует разделять, что существует мета тег NoIndex:

<meta name=”robots” content=”noindex, nofollow” />

И существует тег NoIndex:

<noindex>HTML код</noindex>

Мета тег используется для того, чтобы указать поисковому роботу, что данную страницу не следует индексировать. Но при этом разные поисковые системы по разному его интерпретируют: Google – не индексирует страницу, не сохраняет страницу в кеш, не выдает в результатах поиска. MSN – выдает в результатах поиска адрес сайта, показывает ссылку на кеш, но он отсутствует. Yahoo – аналогичен MSN, отсутствует кеш, но присутствует ссылка на него, а также отображается ссылка на сайт в результатах поиска. Yandex – не индексирует страницу. Зачем вообще использовать подобный тег? Причин может быть несколько:

Вы не хотите, чтобы робот внес в индекс страницы с закрытой или личной информацией;
Вы не хотите, чтобы поисковый робот индексировал огромные страницы на вашем сайте или базы данных;
В совокупности с NoFollow вы избегаете учета ссылок на вашей странице для расчета Page Rank и релевантности ссылаемой страницы. Детальнее тут.

Что касается тега <noindex>, то он используется для запрета индексировать определенную часть страницы. Т.е. с помощью его можно сделать следующее:

Запретить индексировать ссылки внутри указанного блока на вашем сайте. В данном случае это аналогично использованию параметра NoFollow в ссылке.
Запретить индексировать часть страницы, а не всю, как в случае с мета тегом.
Запретить индексировать коды счетчиков, баннеров и т.д..
Убрать из индексирования ненужный код, текст, рекламу, что может поднять релевантность страницы.

Но главной особенностью данного тега является то, что его понимают только Yandex и Rambler, все остальные ведущие забугорные поисковые системы (Google, Yahoo, MSN) игнорируют данный тег. А также тега <noindex> нет в стандарте W3C, поэтому страница с данным тегом не может пройти валидацию.