Владельцам сайтов не стоит сильно беспокоиться в случаях, когда из-за неисправности или случайной блокировки сканирования поисковый робот Googlebot не может получить доступ к сайту.

Как заявляет представитель Google, после того, как запрет на сканирование краулером будет снят, URL-ы страниц сразу же появятся в индексе Google – причём, вне зависимости от того, было ли это связано с неисправностями на стороне хостера или обусловлено случайной блокировкой сканирования содержания сайта вебмастером.

«Со своей стороны, как только мы получим доступ к содержимому страниц вашего сайта и просканируем их, URL-ы сразу же появятся в индексе Google. Как правило, если Googlebot не получал доступ к сайту незначительное время, сканирование происходит довольно быстро и ссылки на страницы ресурса снова появляются в выдаче. Если же повреждение было более длительным и существенным, то на восстановление URL-ов в выдаче уйдёт несколько больше времени — это связано с изменениями в поисковых алгоритмах, которые могли произойти, пока сайт был недоступен для сканирования. Так что, всегда полезно будет еще раз перепроверить ваш ресурс на наличие других нарушений», — комментирует Джон Мюллер.

В любом случае, по утверждению представителя поиска, после того, как Googlebot получает доступ к сайту, адреса его страниц должны появляться в выдаче довольно быстро. Если же этого не произошло — имеет смысл обратить внимание на другие проблемы, которые могут препятствовать появлению ресурса в результатах выдачи.