Индексация страниц как метод борьбы с ленивыми сайтами

Ленивыми бывают не только люди, но и сайты. Многие интернет-порталы своим владельцам на Мальдивы и на квартиры зарабатывают. А ваш ленивец вообще не хочет работать! Скорее всего, ленив не сам сайт, а его хозяин, который не позаботился о толковой индексации страниц. Или просто не знает, что это такое. А что это?

Между собой соревнуются не только спортсмены, но и сайты. Каждый из них хочет быть на самой высокой ступени в результатах, выдаваемых поисковой системой. Чем выше позиция ресурса в результатах поиска, тем выше его популярность среди пользователей. Или точнее говоря, тем выше его посещаемость.

Под индексацией понимают оценку страниц сайта поисковой системой относительно введенного пользователем запроса. Чем больше содержимое страниц сайта соответствует пользовательскому запросу, тем выше будет находиться ресурс в результатах поиска.

Индексация происходит с помощью поискового робота Crawler. Довольно часто эту часть поисковой системы называют «странствующим пауком». Этот паук воспринимает содержимое интернет-страницы в виде тегов html. Он оплетает своей «паутинной» содержимое сайта и «переваривает» его до результатов, понятных для поисковой машины.

Эти аналитические данные заносятся в специальную базу данных, и затем извлекаются из нее после введения пользователем поискового запроса. Наиболее часто вводимые фразы запроса называются ключевыми словами.

Существует много методов того, как ускорить индексацию страниц. Но лучше всего для этого подходят социальные сети. Поместив пост о новом материале и ссылку на него в популярной социальной сети (например, на личной странице, открытой в социальной сети) можно добиться быстрых результатов.

Недавно опубликованная страница ресурса буквально «влетает» в результаты поиска. Важно добиться «горячего» обсуждения материала в социальной сети и оставления комментариев о нем.

Как проверить индексацию страницы?

Проверку индексации страницы сайта можно произвести самостоятельно. Вот несколько наиболее доступных способов:

1. Проверка с помощью специальных онлайн сервисов

Таких веб-сервисов в интернете насчитывается несколько десятков. Наиболее популярными являются:

• seogadget.ru;
• raskruty.ru.

Пользовательские интерфейсы этих сервисов практически идентичны. Поэтому рассмотрим их функционал на примере сервиса seogadget.ru:

Для начала проверки в специальное поле нужно ввести адрес страницы сайта, а затем нажать кнопку «Проверить». Анализ может занять некоторое время, которое частично зависит и от загруженности сервиса:

Отображаются результаты индексации страниц в Яндекс и Google в виде маленькой таблицы.

2. Проверка с помощью расширения RDS bar

RDS bar является бесплатной надстройкой браузера, разработанной специально для профессионального seo анализа как всего сайта, так и его отдельных страниц. Доступны несколько версий этого дополнения:

• Для браузера Google Chrome;
• Для браузера Opera;
• Для браузера Mozilla Firefox.

Рассмотрим интерфейс данного расширения на основе версии для браузера Google Chrome. Оно доступно для бесплатного скачивания в интернет-магазине Chrome:

После установки RDS bar готов к работе. Об этом свидетельствует значок расширения, появившийся в правом верхнем углу браузера. После нажатия на его иконку появляется окно приложения, в которой отображаются показатели индексирования по трем поисковым системам. С помощью RDS bar можно проверить индексацию страниц в Яндексе, Google и Bing.

Кроме этого в окне дополнения отображается еще несколько важных показателей популярности ресурса. В том числе и количество ссылок на него, размещенных на других сайтах.

При большом количестве проверок, совершенных с одного IP-адреса, поисковая система блокирует доступ к аналитическим данным. Поэтому может потребоваться введения капчи:

Особенности индексации поисковой системой Яндекс

Каждый из поисковиков имеет свои особенности работы. В Яндексе за анализ и сбор данных со страниц сайтов отвечают поисковые роботы. Они бывают 4 типов:

• Робот, индексирующий контент страниц;
• Робот, отвечающий за индексацию картинок;
• Робот, отвечающий за индексацию зеркал сайта;
• Робот, проверяющий доступность ресурса.

Способы блокировки индексации

Бывает так, что некоторую информацию на сайте нужно скрыть от индексирования. Это может понадобиться:

• Если ресурс или одна из его страниц находится на стадии разработки или тестирования.
• Для сокрытия административной части сайта и регистрационных данных пользователей:

Теперь узнаем, как закрыть от индексации страницу или часть сайта.

«Странствующие пауки» поисковых систем очень вежливые. Поэтому прежде чем «обыскать» сайт, они спрашивают, где им нельзя ползать. Ограничения индексации прописываются в специальном файле robots.txt, размещенном в корневой директории сайта.

Синтаксис написания ограничений:

• Запрет индексации нескольких папок:

User-agent: *
Disallow: /cgi-bin/
Disallow: /tmp/
Disallow: /~joe/

Используется инструкция Disallow, после которой указывается путь к нужной папке. Имя каждой папки прописывается с новой строчки.

• Запрет индексации определенного файла:

User-agent: *
Disallow: /docs/

С помощью Disallow нельзя наложить запрет на определенный файл, но можно на определенную директорию. Поэтому нужно убрать из папки все страницы, индексация которых разрешена, и оставить лишь ту, которую нужно скрыть.

• Индексация только главной страницы:

User-agent: *
Disallow: /*.html

Таким образом запрещается индексация всех файлов html, размещенных в подкаталогах корневой папки.
Также можно запретить поисковым роботам обработку определенной страницы с помощью мета-тегов html:

<head> <meta name=»robots» content=»noindex, nofollow»> </head>

Индексация прежде всего?

В погоне за хорошей индексацией своих ресурсов некоторые веб-мастера забывают, что ее показатели важны лишь поисковикам. А для пользователей важнее всего качество и достоверность материалов, размещенных на ресурсе. И это лучший способ обеспечить хорошую индексацию любому сайту.