Поисковые роботы. Особенности их работы. Ускорение индексации сайта.
Вопросы SEO я не так часто поднимаю на своем блоге, ведь тема не самая простая, да и существует масса специализированный информационных источников и блогов про SEO. Тяжело со всеми ими конкурировать с учетом специфики моего блога. Однако, если и берусь за тематические статьи про продвижение, то результаты получаются отменные. К примеру, статья «nofollow: что это такое и использовать или нет?» стала сверх популярной: 64 комментария, множество обратных ссылок и 3-я позиция в Google по ключевику «nofollow», что ежемесячно приносит приличный трафик.
Поэтому сегодня я решила задеть тему SEO и написать статью про одну из фундаментальных вещей: индексация страниц и особенности работы поисковых роботов.
Что такое индексация страниц? Это анализ поисковым роботом страниц сайта и занесение информации о них в собственную базу. Поисковой робот, в свою очередь, – это специальная программа, с помощью которой поисковая система постоянно накапливает и обновляет собственную базу данных сайтов для дальнейшего использования в поисковых алгоритмах. Суть работы робота – поиск новых ссылок на сайтах, переход по этим ссылкам на страницу и сбор информации. Таким образом, если ссылка ведет в никуда или если на страницу не существует не единой ссылки, то такая страница не попадает в поисковую базу и соответственно ее не будет в результатах поиска.
Существует несколько основных причин, по которым страницы не индексируются поисковыми роботами:
- Навигация на сайте реализована в Flash, который большинство поисковых роботов не умеют анализировать.
- Ссылкиреализованыспомощью Javascript или Ajax. Аналогичнаяпроблема. Правда Javascript-ссылки научились анализировать многие поисковые роботы, а вот с Ajaxпо-прежнему большая проблема
- Навигация на сайте реализована через формы. Большинство роботов не умеют заполнять формы и поэтому не получают доступ к страницам (это актуально в случае, если необходимо выбирать элемент из выпадающего списка для перехода).
- Роботы не имеют доступа к страницам, доступ к которым имеют только авторизированные пользователи.
Например, если на вашем сайте 500 страниц, а индексировано всего 350 из них, это значит что 150 страниц не приносят вам должного эффекта и трафика.
Существуют стандартные средства улучшения индексации сайта:
- Создавайте навигацию с дружелюбным для поисковых систем CSS кодом, который позволяет реализовывать динамические элементы на подобие Flash.
- Добавляйте альтернативные ссылки на страницы, необходимо сделать грамотную перелинковку.
- Создайте карту сайта. Не размещайте более 100 ссылок на одной странице. Карта сайта может состоять из нескольких страниц.
- Создавайте XML карту сайта (sitemap) специально для поисковых роботов с перечнем абсолютно всех страниц на сайте.
- Чаще обновляйте информацию на сайте, это повлияет на частоту визитов поискового робота.
- Закрывайте от роботов неинформативные и служебные страницы, чтобы сузить область индексации.
- Наращивайте число обратных ссылок на сайт и на конкретные страницы сайтов: это можно делать через регистрацию сайта в каталогов, через размещения статей с ссылками на ресурс в специализированных порталах и т.д..
(+5 бал, 15 голосов)
В РУ гугле достаточно легко вылезти на первые строчки, а вот траф с него неочень. Если интересует именно российский траф. Мне на сайты с ру гагла идут кто угодно но только не россияне. Вы если бы 3 позиция в Яндексе, это было бы круто
[...] Читать… (Еще не оценили) Загрузка … [...]
Да что ваш ру гугл…. То ли дело в ком бай гугловски… и получаешь реально беларуский трафик. Это даже легче сделать чем рушный.
Отличная статья Ольга, для не просвященных. Пусть она так же поимеет много комментов и переходов
Насчет ява и флэша – основная ошибка начинающих, с помщью прог наделают менюшек, а потом ссылку не сохранишь
>Создавайте навигацию с дружелюбным для поисковых систем CSS кодом, который позволяет реализовывать динамические элементы на подобие Flash.
Наличие или отсутствие CSS никак не влияет на поисковик
milax, имеется в виду, что лучше делать красивые меню с помощью CSS, а не на флеш!
Новорожденный, моему блогу Гугл дает значительно больше трафика, чем Яндекс. А к примеру в Украине он основной поисковик – доля более 60%.
Еще добавлю, что нужно избавляться от дубликатов страниц. Это проблема, если вы работаете на WordPress с настройками по умолчанию. Как правило одна и та же страница становится доступной по разным адресам. Естественно роботы такие страницы не учитывают.
Тоже пробел западает?
Спасибо за статью, не помешает. Особенно мысль «Создайте карту сайта. Не размещайте более 100 ссылок на одной странице. Карта сайта может состоять из нескольких страниц.» показалась интересной… надо подумать над этим
Как так карта сайта из нескольких страниц, это же не удобно…хотя если каждая страница это отдельный раздел сайта, то такая карта имеет право на жизнь. А если помойка ссылок то не удобно.
А как интересно снижение области индексирования помогает .. У меня гугл индексирует только первые и служебные, а Яша только последние написанные :~|
[...] Что такое индексация страниц? Это анализ поисковым роботом страниц сайта и занесение информации о них в собственную базу. Поисковой робот, в свою очередь, – это специальная программа, с помощью которой поисковая система постоянно накапливает и обновляет собственную базу данных сайтов для дальнейшего использования в поисковых алгоритмах. Суть работы робота – поиск новых ссылок на сайтах, переход по этим ссылкам на страницу и сбор информации. Таким образом, если ссылка ведет в никуда или если на страницу не существует не единой ссылки, то такая страница не попадает в поисковую базу и соответственно ее не будет в результатах поиска. Дальше [...]
Насчет sitemap абсолютно согласен – сейчас все поисковики требуют его наличия. Правда насколько лучше индексация страниц с ним или без пока не просек… Ну что же – будем тестить!
Однозначно карта ускоряет индексацию. Особенно заметно это в гугле. С Яндексными переколбасами не понятно пока…
Сильно ускоряет помимо всего прочего индексацию ещё и ссылки с блогов. Достаточно в каком-нибудь Блогуне купить штук 10 ссылок по 20 центов за штуку и на сайт шустро прибегают и индексируют. Проверялось на новых сайтах и на старых при выводе из бана Яшки
Хорошая статья узнал много нового…где бы теперь почитать про sinemap?
то есть siTemap…
Для новичков типа меня, статья в самый, что ни на есть раз! Хотя у меня вроде как почти все страницы в индексе у яндекса, но их правда еще не настолько много, чтобы задумываться про индексацию…
Это все правильно, но применительно по большей части к гуглу, в яндексе по таким принципам не продвинуться, а для рунета лучше чем яндекс ПС нету, вернее не то что нету, а с яндекса просто больше трафика будет чем с гугла, как не крути.
Хотелось бы побольше узнать про Sitemap . Есть ли программа которая его делает?
Василий: http://www.xml-sitemaps.com/
Там можно создать карту сайта для сайта
Яндекс в последнее время вообще очень странно индексирует. Сателлиты сидят, портал – вылетел.
Такой вот стимул для дальнейшей работы.
[...] Ну и напоследок для юных сайтостроителей: повторение – мать учения [...]
[...] Очаровательная блондинка рассказала об особенностях поисковых роботов. [...]
Василий, существует неплохой плагин для генерации сайтмапа Google XML Sitemaps под WordPress. Сам постоянно им пользуюсь, очень удобно. Найти его не проблема, хотя бы здесь: http://wordpress.org/extend/plugins/google-sitemap-generator/
Ольга, разве кроме гугла еще кто-то умеет илексировать ссылки на яваскрипт?
[...]
Ольга пишет интересные заметки на тему seo, к примеру Поисковые роботы. Особенности их работы. Ускорение инд…. Про блоггерство – Хотите открыть блог? Задайте себе 7 [...]
Полностью согласен с вашими советами и рекомендациями, сам всегда борюсь с ускорением и правильной индексацией сайтов. Так же хотелось бы порекомендовать делать карту сайта не только в xml или в html, а в обоих вариантах. А xml формата также прописывать в robots.txt
Вообще то с индексацие в гугле вообще нет никаких проблем, сам прийдет и все пориндексирует. Особенно если установлен вп
спасибо за подскаску:)
Ускорить индексацию можно активировав в своём WordPress плагин Google Sitemap (затем прописав его в Google Webmaster Tools) и ещё пару пингаторов не помешало бы
>> Однако, если и берусь за тематические статьи про продвижение, то результаты получаются отменные
Ну зачем же так гордиться
в статье же ничего нового, стандарт. Да и флеш с ява скриптами постепенно начинают осваиваться гуглом. Но за упорство в изучении снимаю шляпу, редко вижу таких блондинок 
Вроде свежая статья (относительно), а каталоги выпячивает как будто от них есть большой толк..
Можно еще рсс использовать. в краткой новости делать ссылку на полную.
Кажысь я в другом месте уже читал про это
По поводу регистрации (наращивания внешних ссылок)!
Для ускорения индексации сайта, советую начать регистрироваться в социальных закладках! Индексацию сайта можно получить уже через несколько часов, так как к ним поисковые роботы заходят по нескольку раз за сутки!
Спасибо за статью, раньше месяц ждал, пока мои сателлиты в индексе появятся.
Я много чего читал, но в последнее время только здесь нахожу пристанище для своих изможденных мыслей
Хорошая статья, узнал ворох нового!)
Кстати про карту сайта – Сапа например принципиально не хочет считывать с нее больше 150 УРЛов, так что разбить одну большую карту на несколько маленьких вполне здравая идея, мне она тоже вчера пришла в голову, а тут нашел похожие мысли
Кстати Ольга, если поставишь капчу спамеров в комментариях станет поменьше
Спасибо, интересная статейка, вы как раз написали как будто для меня парочку советов, которые я не знал, обязательно запишу их
ага, я тоже тако свой сайт кручу
Сапа и сама без карты сайта найдёт чё нужно
хороший пост по ускорению индексации сайтов в поисковых машинах! я сам блогер и пишу подобные статьи. хочу людей научитьв нете зарабатывать и по этому пишу начиная с 0. успехов вам!
Узнал много нового. Вот только на личном опыте скажу. У googla поисковой робот лучше. Все мои сайты google индексирует намного лучше и быстрее чем yandex. Не знаю почему так.
Подскажите пожалуйста, влияет ли на индексацию страницы то как устроена страница, т.е.
1 вариант – страница цельная в виде html,
2 вариант – страница создается при помощи php, встраивается текст в html страницу.
Я только начала самостоятельно создавать сайт, прошу сильно не смеяться, я в деле создания сайта только с января 2010г.
В наличии есть 3 сайт имеющие некоторые проблемами с индексом в Яндексе, проблема заключается в полном отсутствии посещений роботами, но при этом домены не забанены и гуглом успешно индексируются.
Решаю с помощью общения с платоном и небольшой регистрации в каталогах (скрипты ucoz новое в медицине новое в медицине). Есть также идея посотрудничать с порталами и разместить несколько гостевых постов или рекламу, бюджет продвижения пока не решен и требует оценки. Думать будем после очередной выдачи поисковой базы
Спасибо,меню на js это правда не лучший выбор
Ребят, помогите, а? Сайт (http://get-money.org/) уже 2 месяца не индексируется яндексом, платон молчит….В чем может быть проблема? Кто знает? Оч надо, помогите если можете
[...] Оля Иванова пишет: Решаю с помощью общения с платоном и небольшой регистрации в каталогах (скрипты ucoz новое в медицине новое в медицине). Есть также идея посотрудничать с порталами и разместить несколько гостевых постов или рекламу, бюджет продвижения … [...]
Shazzy, 2 месяца не срок… некоторые и дольше ждут, ничего ведь не мешает дальше развивать сайт.
[...] Оля Иванова пишет: Поисковой робот, в свою очередь, – это специальная программа, с помощью которой поисковая система постоянно накапливает и обновляет собственную базу данных сайтов для дальнейшего использования в поисковых алгоритмах. …. Кстати про карту сайта – Сапа например принципиально не хочет считывать с нее больше 150 УРЛов, так что разбить одну большую карту на несколько маленьких вполне здравая идея, мне она тоже вчера пришла в голову, а тут нашел похожие мысли … [...]
Сейчас неплохо помогает twitter и соц. закладки.
Согласен от части с trendbender. Почему от части? Да потому, что Яндекс более не хочет индексировать соц. закладки, в отличие от Гугла. Посоветую еще разместить ссылки на трастовых сайтах, ЖЖ блогах и им подобным.
Многие социальные сервисы -закладки вылетают из яндекса Яндекс не индексирует соц. закладки, в отличие от Гугла Когда яндекс проиндексирует эти сервисы неизвестно
Сапа и сама без карты сайта найдёт чё нужно
а не всегда как показывае практика
Большая часть из описанных здесь методов работает. Хотя, каталоги и соц. закладки под большим сомнением.
Мне лично помогает улучшать индексацию пинг в специальной форме Яндекса для блогов. Робот прибегает сразу же и часто на следующий день страница появляется в поиске. Хотя бывают и сбои.
Чтобы сделать XML карту сайта нужно воспользоваться очень удобным сервисом http://www.xml-sitemaps.com/ делает карту до 500 страниц.
По поводу каталогов – они уже в прошлом…работают очень и очень плохо.
Для своих сайтов индексацию можно получаю через регистрацию в социалках. Результат можно увидеть уже через несколько часов!
Тема раскрутки для меня очень актуальна, а тут такой кладезь информации! Автору проекта респект! всем спасибо за интересную и весьма полезную информацию.
Взял на вооружение раскрутку статьями и соц. закладками, подскажите ещё работающие методы.
Что касается закрытия служебных страниц, так важно и для того, чтобы под АГС не попасть.
Вообще то с индексацие в гугле вообще нет никаких проблем, сам прийдет и все пориндексирует. Пинганул пост, в вордпрессе автоматом пингует робот уже тут и через пару минут в выдаче!
[...] и напоследок рекомендую прочитать статью Поисковые роботы. Особенности их работы. Ускорение инд… (Пока никто не [...]
Так и делаем, спасибо!
И всё-таки — насколько влияет карта сайта на позиции в выдаче при условии, что и без карты сайта все страницы были в индексе? Так ли она нужна и важна?
Спасибо, но вот ещё интересно насколько сильно верстка сайта влияет на поисковую выдачу?
Каждый день что неть новое,но толковые советы в статье есть
Многие так делают и это правильно. Вот с роботом Яндекса действительно немного не понятно, капризный он.
грамотная перелинковка страниц – это самая большая тайна:))везде пишут про неё, а как начинаешь читать статью про методы перелинковки, то понимаешь, что не все там досказано, т.к. не говорят, про то, что со страниц какого уровня вложения ссылаться на главную или ссылаться вообще, ссылаться ли на рубрики и т.д.
если кто знает грамотную статью по этому делу подскажите где можно почитать.
XML-карта и карта сайта работают плохо, почему-то не все страницы попадают в индекс, лучше перелинковка и внешние ссылки на страницы.
Интересное выражение. очень понравилось: «Суть работы робота» =)
вопрос: Как создавать карту сайта (может какие плагины или модели есть)? и как «грамотно» настроить перелинковку? навигация на моем сайте, по-моему, вообще ужасная =(((
Ольга, разве кроме гугла еще кто-то умеет илексировать ссылки на яваскрипт?
Сейчас неплохо помогает twitter и соц. закладки.
Ольга, разве кроме гугла еще кто-то умеет индексировать ссылки на яваскрипт?
Статья очень познавательная. для таких чайников как я.
К сожалению, обратная ссылочная масса теряет в своем весе с каждым месяцем. Яндекс прямо заявляет, что при подсчете ТИЦ он уже не учитывает ссылки с каталогов ссылок и статей, форумов и блогов.
Для полной индексации сайта нужно делать его так что бы боты могли ходить везде, тогда будет Вам счастье.
Интересная статейка, Ольга спасибо. думаю ,что последний совет будет самым эфективным ,про «наращивание числа ссылок на сайт» . Только вот делать это нужно очень акуратно и грамотно. Яша последнее время совсем злой стала..
да ну бросьте. Все зависит от возраста сайта и кучи других факторов. В сапе можно закупать не новый сайт хоть 2000 ссылок, все равно они не все сразу проиндексируются
Чиллер Абсолютно с вами согласен. Twitter и соц. закладки действительно очень помогают!
Социалки уже не особо момогают ,но твитер еще дает результат!
Увидела , не так давно статьи о продвижении сайтов с помощью Dofollow блогов. В интернете полно блогов называют себя Dofollow, а как же различить из их множества те которые таковыми не являются и просто привлекают к себе комментаторов?
Для лучшей индексация прогоняю каждую статью по соц. закладкам. Как привило индексируется 98% всех статей.
если сайт нормальный, то индексируется все очень быстро.. но для себя заметил недавно такую тенденцию – чем больше страниц на сайте – тем дольше в индекс попадают страницы..
по своему опыту скажу что яндекс, как то лениво индексирует малопосещаемые сайты
Все гениальное просто… Спасибо…
месяц работал над своим сео блогом, каждый день добавляю статьи…. и вот у меня поселился быстроробот! ))