Noindex
В продолжение тематики про NoFollow и DoFollow сегодня хочу рассказать про тег NoIndex. Следует разделять, что существует мета тег NoIndex:
<meta name=»robots» content=»noindex, nofollow» />
И существует тег NoIndex:
<noindex>HTML код</noindex>
Мета тег используется для того, чтобы указать поисковому роботу, что данную страницу не следует индексировать. Но при этом разные поисковые системы по разному его интерпретируют:
Google – не индексирует страницу, не сохраняет страницу в кеш, не выдает в результатах поиска.
MSN – выдает в результатах поиска адрес сайта, показывает ссылку на кеш, но он отсутствует.
Yahoo – аналогичен MSN, отсутствует кеш, но присутствует ссылка на него, а также отображается ссылка на сайт в результатах поиска.
Yandex – не индексирует страницу.
Зачем вообще использовать подобный тег? Причин может быть несколько:
- Вы не хотите, чтобы робот внес в индекс страницы с закрытой или личной информацией;
- Вы не хотите, чтобы поисковый робот индексировал огромные страницы на вашем сайте или базы данных;
- В совокупности с NoFollow вы избегаете учета ссылок на вашей странице для расчета Page Rank и релевантности ссылаемой страницы. Детальнее тут.
Что касается тега <noindex>, то он используется для запрета индексировать определенную часть страницы. Т.е. с помощью его можно сделать следующее:
- Запретить индексировать ссылки внутри указанного блока на вашем сайте. В данном случае это аналогично использованию параметра NoFollow в ссылке.
- Запретить индексировать часть страницы, а не всю, как в случае с мета тегом.
- Запретить индексировать коды счетчиков, баннеров и т.д..
- Убрать из индексирования ненужный код, текст, рекламу, что может поднять релевантность страницы.
Но главной особенностью данного тега является то, что его понимают только Yandex и Rambler, все остальные ведущие забугорные поисковые системы (Google, Yahoo, MSN) игнорируют данный тег. А также тега <noindex> нет в стандарте W3C, поэтому страница с данным тегом не может пройти валидацию.
(+4 бал, 6 голосов)
Интересные пояснения!!! Ольга, спасибо. Будем применять!! Как день варенья прошел?
Спасибо, интересная тема!
Вопрос: а что такое «валидация»?
Антон, валидация, от английского слова validation, проверка страницы на соответствие стандарту, что важно для кросс-браузерности (страница должна выглядеть одинаково во всех браузерах)
А чревато ли чем не прохождение валидации, в плане отношения поисковиков к сайту?
«Google – не индексирует страницу, не сохраняет страницу в кеш, не выдает в результатах поиска.»
Тег noindex для Гугла не действует. Проверено на опыте более чем ста сайтов
Valdemarin, читайте более внимательно статью.
В первой части речь идет о meta теге.
Уже доказано, что Noindex полностью не закрывает индексацию ссылки, просто ее вес мал, можно брать количеством, как это делают спамеры
О том, что тег ноиндекс использует только яндекс и рамблер умомянула вконце, я уже подумал, что может все таки даже гугл его использует
Я в своих местах там где есть возможность комментариев – выпарсиваю ссылки регулярками – и добавляю к ним ноуиндекс и ноуфоллов.
Весь пост добавлять в ноуиндекс не нужен – т.к. каждый коммент это уникальный контент в совокупности
А я за движение Dofollow, т.е. за свободу комментирования, теги использую только если нужно закрыть ссылки на каталоги и т.п., если человек оставил грамотный развернутый комментарий на статью, стоит наградить его ссылкой, ну а если идет откровенный спам просто удаляю комментарий, использование тега считаю несправедливым, тогда уж лучше просто убрать поле URL
Если все разрешить индексировать то засыплют спамом, имхо
Еще хочу добавить к вашему посту то, что иногда поисковая система Яндекс видит на странице только открывающий тег ноиндекс, и в этом случае страница может быть не проиндексирована вовсе. Особенно часто такое случается на CMS Slaed.
сижу и думаю как по быстрому испытать
Спасибо за инфу! Никогда не знала как закрыть страницу от индексации
Оля, вы спам фильтруйте!
Тут, по-моему, более 60% – спаммерские комменты.
Valdemarin, спам фильтрую всегда. Видимо здесь не особо обратила внимание.
>Мета тег используется для того, чтобы указать поисковому роботу, что данную страницу не следует индексировать.
Ну не страницу а всего лишь указаный блок.
LiveStalker, мета-тег не может указывать блок!
он идет в заголовке страницы и используется для нее в целом
вы путаете мета-тег
<meta name=”robots” content=”noindex, nofollow” />
с тегом noindex
Мне кажется, стоит более четко подчеркнуть что как самостоятельный тег – работает только «на яндекс», а метатег «noindex» – один из самых старых тегов относящихся с работе поисковых систем – он не является обязательным для любой поисковой системы. Т.е. по сути ПС решает сама обращать внимание на этот метатег или нет.
Более того, раз «пошла такая пъянка» – давайте не будем забывать и о том, что не существует четкого соблюдения стандартов. Например ПС используют чужие юзерейдженты и если вы «обращаетесь» к одному боту, это не означает что вас не «заловит» тот или иной бот совершенно другой поисковой системы.
Я бы добавил еще одну причину использования noindex: устранение дублированного контента, например, когда есть обычная страница и версия для печати. Последнюю часто не закрывают от индексации, а зря.
Сергей Жилин, будем надеяться, что Yandex будет нормально воспринимать тэг rel=»canonical» и тогда нужда в закрытии дублированного контента отпадёт
Случайно никто не знает софт для массовой проверки ссылок на noindex
интересный у вас спор, но всеже может ктото ответить как на самоем деле воспринимает этот тег гугл, то есть ему вообше пофиг, и он спокойно индексирует все что закрыто в этом теге, или реально такая страница не прайдет валидацию и вообше не будет проиндексирована гуглом????
Этот тег еще очень помогает если, к примеру нам хочется донести до читателя много не уникальной информации, а в бан поисковиков нам попадать не хочется.
Хм, я всегда думал, что noindex работает только для Яндекса.
хм.. по-моему, noindex на google не действует, а вот про остальные не знаю
Яндекс отлично обрабатывает данный тег, а вот Google не учитывает его
Я смотрю, часто встречается у людей желание каким-то образом скрыть или спрятать от поисковиков счетчики, которые в свою очередь играют немаловажную роль собственно в раскрутке их сайта. Помилуйте, ребята. Достаточно ведь понаблюдать за такими известными сборщиками статистики как HotLog, SpyLog, и понять, что они сами дают свои ссылки на Вас же, в тех же самых поисковиках, а в этом ведь и заключается смысл раскрутки сайта. Все (практически все) счетчики ссылаются на статистику тех сайтов, на которых они стоят, а не на свои коренья, откуда произошли, и это нужно учитывать. С другой стороны, счетчики это апофеоз чего-то нового и сопливого с точки зрения престижа и уважения к себе и своему WWW-детищу.вау/. Так что это дело выбора.
Подскажите, а убережет ли заключения скрипта с попандером в тег … от вылета сайта из Яндекса. Ведь все знают отношения яндекса к подобным вещам по сливу трафика – цитирую дословно : сайты, основным предназначением которых является агрессивная демонстрация рекламных материалов (в том числе popup, popunder, clickunder) – исключаются из выдачи, а может и вовсе из индекса.
Ну вот слова noindex скушало…
теперь поймите что я написал…
Скорее всего не убережет. Если судить о таких поисковиках как Яндекс и Google, то они всё видят, несмотря на те noindex и nofollow, которые якобы по их же утверждениям не индексируются ненужные нам части информации или кода. Но… в нескольких статьях от некоторых профессионалов я вычитал, что на подобные скрипты, которые являются popup-ами, popunder-ами и clickunder-ами у поисковиков имеются специальные алгоритмы обработки, которые загоняют их в бан, то есть эти алгоритмы смотрят непросто на то, на что не нужно обращать внимания, а на то, на что именно не нужно обращать внимания. Следовательно, если верить профессионалам, то не убережет. Но проще задать вопрос техслужбе этих самых поисковиков, хотя заранее известно что они ответят.
по поводу noindex и то как он не проходит валидацию хотелось бы поподробнее и чем это к пример чревато
если можно то ссылку где это можно прочесть
Гугл не индексирует, соглансен, а все он передает этой странице?
странно, но по стандарту w3 тег noindex считается невалидным и учитывает его только яндекс, лучше все-таки не злоупотреблять им
Да, давно заметил, что noindex плохо влияет на индексацию. Конечно удобно закрывать индексирование в коментариях или подписях(некоторые уже так делают
)
хорошая статья, буду пользоваться
Спасибо, да прибудет с вами ИНДЕКС
Сами придумали и сами противятся ему.
сильно помог мне этот тег при использовании Сапе, когда нужно какие то ссылки оградить от индексирования.
Яндекс уже отказался от использования тега как способа скрытия внешних ссылок.
Тем не менее, тег все еще работает, скрывая нежелательный текст, либо код. Так же еще не доказано, что ссылка в теге передает вес, т.е. она учитывается, но как по мне так имеет нулевой вес. В общем нужно экспериментировать.
мне как новичку было интересно об этом почитать
пасибо..про msn не знал..хотя на неё ориентироваться не стоит
Noindex употребляется в закрытии текста/одной страницы, если же закрывать группу страниц, то лучше прописать в robots.txt
Все равно ка не пряч страницы боты их будут индексировать, уже и яву начали понимать
На мой взгляд не нужно ничего закрывать этими тегами (кромме кое каких исключений)! Пусть все индексируется! Причем это очень даже полезно для окружающих!)
прописные истины)
я вот тоже не понимаю надо мне закрывать ноиндексом или нет ссылки. Кто-то говорит, что обязательно, кто то не советует.
Яндкес в погоне за гуглом..
никакие это не истины. ложь!
123jkl
я уже подумал, что Noindex и гугл использует
Не знал разницу между тегом и мета тегом. Век живи век учись. Хотя, может это для кого-то и прописные истины
какая то устаревшая информация… надо бы поправить, хотя наверно на момент написания статьи она и была актуальной
Отдам Возьму Поменяю, статья за 2009 год, немного вы опоздали с комментарием к ней
Статья может быть и старая, но ничего же не изменилось с этими тегами… Вот гугл так и продолжает на них забивать.
а если допустим рекламу закрыть в ноиндекс, ее не увидят поисковики, а люди увидят?
Прямо как в курсе Каширина)) Цитирую – «…этот блок нарушает стандарт, я его буду игнорировать и директорию «порно» прекрасно проиндексирует» )
Не помню уже источник но где то вычитал что Яндекс уже все равно индексирует и ссылки и текст закрытый в ноиндекс, раньше закрывал так контент который не нужен был для индексации, а ссылки в Нофолоу закрываю пока вроде нормально все.
коменты нужно закрывать зачем комута тиц повышать зачем делать из своего сайта поомойку из коментов даже если они нормальные но с сылкой на сайт
Такие большие гиганты (я про яндекс и гугл) в сети интернет, а придумать нормальный запрет индексации фрагмента на сайте никак не могут((
Нужная вещь, я закрываю всегда…
Да точно проверено, сейчас ноиндекс не спасает… тут уж нужна связка – ноуиндекс – ноуфоллоу
я вот вообще не понимаю, за счет чего кормятся остальные поисковики, я вот пользуюсь гуглом и яндексом, да и мои знакомые не знают ничего лучше их, может они нагнутся скоро?
Да нормально тег работает, яндекс по ссылкам ходить будет, но индексировать не будет.
Noindex хорошо использовать для перекрытия контента на странице, что ПС не использовали часть контента при ранжировании страницы. А по ссылкам, заключенных в noindex, робот все равно ходит, я так думаю