Как веб сайт становится доступным поисковой машине

Поисковые машины постоянно просматривают интернет в поиске новой информации, будь то новый сайт или же измененный текст на существующем сайте. Просмотр поисковиком вашего сайта еще не означает, что ваш сайт автоматически попадает в индекс поисковой машины. При просмотре сайта поисковик, при обнаружении новой информации или новой страницы, добавляет ваш сайт или страницу в очередь на индексирование. А вот уже процесс индексирования полностью просматривает страницу и добавляет ее содержимое себе в индекс, и, соответственно, эта страница теперь доступна для поиска в этом поисковике, который проиндексировал вашу страницу.

Как можно сообщить поисковой системе о появлении нового сайта в Интернете

Так как сайтов в интернете много, а поисковые машины тоже располагают каким-то, пусть и большим, но все же ограниченным ресурсом, поэтому даже поисковик не в состоянии сразу отследить все изменения, которые происходят в сети — появление новых сайтов, изменение информации на старых, поэтому проходит определенное время перед тем, как о вашем сайте узнают поисковые машины.

Для того, чтобы это произошло быстрее, нужно сообщить поисковым машинам, что в сети появился новый сайт, путем добавления нового сайта в каталог поисковика. В разных поисковых машинах этот процесс происходит по разному, но алгоритм действий обычно такой:

  • вы извещаете поисковую систему о том, что появился новый сайт, путем добавления сайта в каталог поисковой машины
  • планировщик поисковой машины добавляет в очередь на индексацию ваш новый сайт
  • поисковый робот загружает ваш сайт в свою базу
  • поисковая машина индексирует загруженные роботом страницы сайта
  • проиндексированные страницы добавляются в поиск, и теперь будут отображаться в результатах поиска этой поисковой системы

Как видно, ваша новая страница не сразу попадает в индекс поисковой машины, а на это тратится определенное время. В среднем, после добавления сайта в поисковик, проходит несколько недель, перед тем, как поисковая машина начнет индексировать ваш сайт.

Если поисковой машине не «сказать» о том, что в сети появился новый сайт, то может пройти достаточно большое количество времени, пока поисковая система найдет ваш сайт самостоятельно, поэтому всегда лучше самому сообщать о новом сайте поисковикам. Разные поисковые машины предоставляют свои инструменты для добавления сайта, так в Google используется сервис Инструменты для вебмастеров, система Yandex предоставляет инструментарий Яндекс Вебмастер

Скорость индексирования и пересмотра содержимого сайта

В интернете существует масса различных сайтов, одни сайты обновляются раз в час или чаще, другие раз в месяц, третьи вообще никогда не изменяют свое содержимое. Так как поисковые машины тоже обладают каким-то ресурсом, то они стараются как можно оптимальнее использовать свои ресурсы. Нет смысла раз в день просматривать поисковику сайт, который изменяет свое содержимое раз в год, так как от этого ничего не изменится, поисковик не сможет взять оттуда новую информацию - ее там просто нет. В то же время, если новостной сайт обновляется раз в 5 минут, а поисковик будет просматривать содержимое сайта раз в день, то это тоже плохо. Основная задача поисковых машин дать пользователям то, что им нужно, а если поисковик будет обновлять индекс новостного сайта с задержкой в день, то тогда пользователи найдут другой поисковик, который чаще обновляет свой индекс и дает своим посетителям возможность поиска по самому свежему материалу.

Для того, чтобы этого не случилось в поисковые машины планируют свою индексацию. Те сайты, где информация изменяется очень часто пересматриваются поисковиком чаще, а те сайты и страницы, где информация дольше хранится неизмененной просматриваются реже. Это позволяет не тратить впустую время поисковой машины на сайты, которые редко изменяют свое содержимое и постоянно следить за актуальностью информации на тех сайтах, где она часто изменяется и добавляется.

Алгоритмы планирования скорости индексирования закрыты, и в различных поисковых машинах могут отличаться, ведь они конкуренты между собой, поэтому стараются как можно быстрее и оптимальнее узнавать о новой информации, чтобы донести ее нам - своим пользователям. Поэтому не стоит тратить время на разбор технических тонкостей работы планировщиков, достаточно усвоить одно, что чем чаще будет добавляться новый материал на вашем сайте, тем чаще поисковая машина будет добавлять его в свой индекс и наоборот.