Часто возникает вопрос, что сайт создан, открыт для поисковых роботов, но проходит день-два, неделя-две, а поисковики никак не желают принимать сайт в свою базу или не хотят показывать вашу новую статью в своей выдаче.

В этой статье вы узнаете об основных способах попадания вашего сайта в индексную базу поисковых систем, а также бонусом – про хорошие методы скорейшего попадания ваших новых статей в выдачу. Итак, начнем…

Что такое индексация? Это процесс изучения вашего сайта роботами поисковых систем, вследствие которого роботы добавляют информацию о нем в свою поисковую базу. Если ваш сайт проиндексирован, значит, он может участвовать в поисковой выдаче.

Действенными способами ускорения индексации нового сайта считаются:

1. Добавление сайта в поисковики.
2. Настройка файла robots.txt и создание XML-карты сайта.
3. Настройка вебмастеров поисковых систем.
4. Правильная настройка HTML-карты сайта.
5. Внутренняя перелинковка.
6. Регистрация сайта в каталогах, справочниках и рейтингах.
7. Интеграция сайта с социальными сетями.

Теперь о каждом пункте подробнее.

1. Добавление сайта в поисковики

Все этапы будем рассматривать на основных поисковых системах, в индекс которых нужно стараться попасть в первую очередь. Как вы уже догадались, это Яндекс и Google. Под добавлением в поисковую систему подразумевается сообщение поисковым системам о том, что появился новый сайт или новая страница. Среди вебмастеров часто используется слово «аддурилки».

У Яндекса страница добавления в поисковик выглядит следующим образом:

Задача проста. Вводим адрес нового сайта, заполняем поле проверки «Робот-не робот» и нажимаем «Добавить».

В Google страница добавления URL в поисковик выглядит так:

Вводим адрес сайта или новой страницы, жмем «Я не робот» и нажимаем «Отправить запрос».

Примечание: данная система работает только в том случае, если вы авторизованы в системе Google.

2. Настройка файла robots.txt и создание XML-карты сайта

robots.txt – это обычный текстовый файл, размещенный на сайте и предназначенный для роботов поисковых систем. В этом файле можно указать параметры индексирования своего сайта для всех роботов поисковых систем сразу или для каждой поисковой системы по отдельности.

Все поисковые роботы при заходе на сайт в первую очередь ищут файл robots.txt.

Как создать?

Сделать файл robots.txt очень просто – создаете обычный текстовый документ, называете его robots, не ошибитесь в регистре букв или в самих буквах, название должно быть именно такое. Если не планируете запрещать индексирование страниц сайта, можно созданный файл оставить пустым. Если планируете – просто заполняете документ в соответствии с принятыми в 1994 году общими стандартами. После этого необходимо загрузить файл в корневой каталог вашего сайта, чтобы файл открывался по ссылке http://www.site.ru/robots.txt . Всё.

Что закрывать от индексации?

Вообще от индексации рекомендуется закрыть все страницы с неуникальным контентом, страницы с результатами поиска по сайту, страницы авторизации и другие технические страницы, которые не должны участвовать в поисковой выдаче.

Правила заполнения файла robots.txt

Итак, в файле robots.txt каждая команда или директива должна прописываться отдельной строкой. Число команд не ограничено.

• Директива user-agent

  Первое, с чего следует начать заполнение файла – указать, для какого робота будут команды, для этого пишем в первой строчке:

  если ваши инструкции предназначены для роботов Яндекса:

  User-agent: yandex

  для роботов Google:

  User-agent: googlebot

  для всех роботов без исключения:

  User-agent: *

• Директива Disallow и Allow

  Команда Disallow запрещает роботу индексировать тот или иной файл или папку.Например,

  запрещает индексировать файлы данной папки:

  Disallow: /cgi-bin/

  запрещает индексировать данный файл:

  Disallow: /company.html

  запрет на индексацию всего сайта:

  Disallow: /

  Проверьте ваш сайт – это одна из частых причин неиндексирования сайта.

  Важно! Неправильно указывать несколько директив в одной строчке:

  Disallow: /cgi-bin/ /cell/ /bot/

  Директива Allow наоборот – снимает запрет на индексацию некоторых файлов. Пример ее использования:

  User-agent: Yandex
  Allow: /cgi-binDisallow: /

  Такая запись в файле запрещает скачивать роботу Яндекса все, кроме страниц, начинающихся с ‘/cgi-bin’.

  Важно! Если в файле указали директиву, но не указали параметры для нее, значения будут такие:

  запрета на индексацию сайта нет:

  Disallow:

  весь сайт запрещен к индексации:

  Allow:

• Директива sitemap

  Если у вас есть карта сайта в формате sitemaps.xml, укажите путь к ней в специальной директиве Sitemap (если файлов несколько, укажите все):

  Sitemap: http://site.ru/sitemaps1.xml
  Sitemap: http://site.ru/sitemaps2.xml

• Директива Host

  Данная запись используется роботами Яндекса. Определите и укажите в директиве Host главное зеркало вашего сайта:

  Host: www.site.ru

  Часто начинающие вебмастера забывают, что сайт с www и без (www.site.ru и site.ru) являются зеркалами друг друга. Поэтому обязательно укажите, какой адрес является приоритетным с www или без.

  Директива Host не гарантирует выбор указанного главного зеркала, но Яндекс учитывает ее с высоким приоритетом.

Пример заполнения robots.txt

User-agent: *
Disallow: /administrator/
Disallow: /cache/
Disallow: /language/
Disallow: /modules/
Disallow: /plugins/
Disallow: /templates/
Disallow: /tmp/
Host: sait.ru
Sitemap: http://site.ru/sitemaps.xml

Проверка файла robots.txt

Для проверки получившегося файла можно воспользоваться Яндекс.Вебмастером.

Карта сайта XML – это файл, размещенный в корневой директории сайта, с информацией для поисковых систем (таких как Яндекс, Google, Rambler, Bing и других) о страницах вашего сайта. Файл этот нужен для того, чтобы поисковым системам было легче индексировать ваш сайт.

Как это работает?

Заходя на сайт, поисковый робот, прежде всего, читает инструкции в файле robots.txt о том, как следует индексировать сайт. И если в нём указать, что есть карта сайта sitemap.xml, то робот перейдет по указанному адресу, где перечислены URL-адреса самых важных страниц сайта, которые подлежат обязательной индексации.

Поэтому не забудьте, что файл sitemap.xml надо не просто разместить у себя на сайте, а указать к нему путь в robots.txt в директиве sitemap.

Пример:

User-agent: Yandex
Allow: /
Sitemap: http://mysite.ru/site_structure/my_sitemaps.xml

Вот так карта сайта XML облегчит работу поисковику и обеспечит качественную индексацию вашему сайту.

Как создать карту сайта XML?

Это не трудно. В сети есть несколько бесплатных программ и сайтов, которые сгенерируют вам такую карту автоматически. Вот некоторые из них: sitemapgenerator.ru, xml-sitemaps.com, cy-pr.com/tools/sitemap/

Рассмотрим создание карты сайта на примере xml-sitemaps.com:

1. Вводим адрес сайта в первую строку, сразу после http:// . Выглядеть должно примерно так: http://1ps.ru/
2. Во второй строке выбираем частоту обновления страниц сайта. Возможные значения – каждый час («Hourly»), день («Daily»), раз в неделю («Weekly»), раз в месяц («Monthly»), раз в год («Yearly»). Если выбрать «None», частота обновления не будет прописана в Sitemap. Рекомендуем выбирать Weekly или Daily.
3. В третьей строке назначаем дату последнего обновления страниц сайта. Удобнее всего выбрать текущую дату, которая отражается в последнем пункте выбора.
4. Выставляем приоритет для страниц сайта: «None» – означает, что приоритет не принципиален, «Automatically Calculated Priority» – программа автоматически определит приоритетные страницы и составит карту сайта с их учётом.
5. Жмём кнопку «Start».
   Генерирование карты займёт некоторое время, после появится вот такой текст:
   Он сообщает вам о том, что карта успешно создана, и всё, что вам осталось сделать, это:
   1. Загрузить файл с картой в корневую директорию вашего сайта (скачать файл можно по ссылке here).
   2. После размещения проверить наличие карты по адресу http://ваш_сайт/sitemap.xml, добавить её в robots.txt и в панели вебмастеров Яндекса и Гугла, чтобы поисковые роботы начали ориентироваться на неё.

   Всё, дело сделано – карта xml готова! Только помните, что карта xml – для поисковых роботов. А для пользователей не помешает создать обычную карту сайта в формате HTML. Для оптимизации, кстати, она тоже лишней не будет.

3. Настройка вебмастеров поисковых систем

Начнем с Яндекса. Для начала необходимо авторизоваться в системе Яндекс или, если у вас ещё нет такой учётной записи, завести её. После того как авторизовались в Яндекс, идём по ссылке и нажимаем «Добавить сайт».

Перед нами появляется такая страница:

Шаг 1. Вводим адрес сайта и нажимаем «Добавить сайт».

Шаг 2. Необходимо подтвердить права на владение сайтом. Для этого есть несколько способов, которые подробно описаны на этом этапе, поэтому проблем у вас не возникнет.

Шаг 3. Смотрим общую информацию о сайте.

Теперь сайт добавлен в панель вебмастера Яндекс, и уже точно начался процесс индексации поисковыми роботами.

В Google процесс аналогичный. Авторизуемся в системе и проходим по ссылке. Далее жмем «Добавить ресурс» и вводим адрес сайта во всплывающем окне, нажимаем «Продолжить».

Далее выбираем способ подтверждения прав на сайт и следуем инструкциям от Google.

Также в вебмастере Google есть очень полезная функция для быстрой индексации сайта. Для того чтобы воспользоваться этой функцией, в списке сайтов выбираем необходимый, далее в левом меню заходим в «Сканирование» → «Просмотреть как Googlebot».

С подробной инструкцией по использованию этой функции вы можете ознакомиться в поддержке Google.

4. Правильная настройка HTML-карты сайта

Начнём с определения: Карта сайта – это отдельная страница, на которой перечислены все разделы, подразделы, статьи. Это что-то вроде каталога, в котором зафиксированы все статьи сайта со ссылками на эти самые статьи.

Для чего нужна карта сайта?

Во-первых, для посетителей (создаётся в формате html) – чтобы облегчить им поиск нужной информации. Такая карта должна обязательно присутствовать на крупных сайтах, объемом больше 30 страниц.

Во-вторых, для поисковых систем (в формате xml) – чтобы поисковый робот увидел все ссылки, которые есть на сайте.

В идеале лучше создать 2 отдельные карты сайта: XML для роботов и HTML для посетителей.

С помощью файла Sitemap вы можете сообщить Яндексу, какие страницы вашего сайта нужно индексировать, как часто обновляется информация на сайте, а также индексирование каких страниц наиболее важно.

Вот 7 железных правил, которым стоит следовать при создании карты сайта:

1. Размещайте её на отдельной странице, попасть на которую можно из главного меню. То есть ссылка на карту сайта должна быть видна с любой страницы сайта.
2. Структура карты должна отражать иерархию страниц сайта; в структуре должно чётко прослеживаться – где основные разделы, а где подразделы.
3. Хорошо, если в начале карты сайта будет размещено краткое описание самого сайта, чтобы посетитель смог быстро сориентироваться, на каком именно сайте он находится.
4. Не перегружайте карту сайта излишними картинками, лучше вообще обойтись без них.
5. Не забудьте проставить ссылки с пунктов карты на внутренние страницы сайта, чтобы посетитель смог мгновенно перейти в нужный ему раздел.
6. Старайтесь в описаниях разделов придерживаться правила: краткость – сестра таланта. Заголовки разделов должны быть ёмкими, чёткими и понятными. Можно добавить краткое описание раздела, например:«- О компании
   В этом разделе кратко описаны главные принципы работы нашей компании, история её возникновения и развития, а также наши стремления и чаянья в долгосрочной перспективе.»
7. Следите за актуальностью карты сайта. Если из структуры удаляются какие-то страницы или, наоборот, добавляются новые, не забудьте отразить это в карте.

Соблюдайте эти 7 правил, и карта сайта станет отличным навигатором для ваших посетителей.

5. Внутренняя перелинковка

Одним из самых важных пунктов не только для лучшей индексации, но и для продвижения сайта, является грамотная внутренняя перелинковка сайта. Вот несколько советов, как сделать естественную перелинковку, которая будет полезна не только для оптимизации, но и для удобства пользователей:

• В статьях ставьте анкорные ссылки на другие статьи, о которых идет речь. Например, так:
• В конце каждой информационной статьи давайте ссылки на 3-4 другие статьи по схожим темам. Например, как в нашем блоге:

Желательно, чтобы на каждой странице сайта было по 2-3 ссылки на главную страницу. Можно дублировать главное меню внизу страницы, сделать вспомогательные ссылки с внутренних страниц на главные разделы сайта.

6. Регистрация сайта в каталогах, справочниках и рейтингах

Регистрируйтесь в каталогах сайтов и статей. Внешние ссылки на ваш сайт позволят поисковым систем быстрее узнать о вашем сайте. Также с помощью внешних ссылок можно не только ускорить индексацию, но и сделать её более глубокой, если эти ссылки будут вести на внутренние страницы сайта.

Подайте заявку в основные каталоги поисковых систем, такие как Яндекс.Каталог и DMOZ.

Также ускорению индексации способствует и добавление сайта в популярные рейтинги, например, Рамблер ТОП100, ТОП Mail.ru, LiveInternet.

7. Интеграция сайта с социальными сетями

Настройте интеграцию сайта с вашими аккаунтами в социальных сетях. Например, делайте анонсы новых статей со ссылкой на полную версию на Google+, ВК, Facebook и Twitter. Аккаунт Google+ можно прикрепить к самому сайту, то есть сделать отдельную учётную запись специально для конкретного сайта.

Из всех социальных сетей стоит выделить Twitter. Это, пожалуй, самая эффективная социальная сеть в плане ускорения индексации страниц вашего сайта.

Вместо десерта

Как и обещали, в виде бонуса несколько способов скорейшего попадания новых страниц вашего сайта в индекс поисковых систем:

1. RSS-трансляция материалов. Настройте RSS-трансляцию новых материалов вашего сайта и разместите её в различных RSS-каталогах.
2. Социальные новости. Размещайте ваши статьи в сервисах социальных новостей.
3. Платное размещение своих статей на сайтах такой же тематики, как у вас. Такие сайты можно найти на различных форумах, которые на этом специализируются, например, SearchEngines.

Материалы взяты с сайта 1ps.ru