В форуме помощи веб-мастеров Google обсуждают вопрос, почему GoogleBot сканирует сайт с максимальной скоростью 10 запросов в секунду. Веб-мастер задокументировал поведение бота с и продемонстрировал соответствующий график.

Специалист хотел узнать, почему установлен предел в 10 запросов в секунду, и почему бы не сделать его больше, если сервер может справиться с этим?
Специалист отдела качества поиска Google по работе с веб-мастерами Джон Мюллер (John Mueller) ответил ему, что на самом деле конкретного предела нет, он устанавливается автоматически. GoogleBot осуществляет сканирование с такой частотой, которую он считает подходящей для сервера. Веб-мастерам не нужно ничего делать, только не препятствовать Googlebot в сканировании сайта.

В случае сомнений в корректной работе Googlebot всегда можно нажать на ссылку «Сообщить о проблеме с Googlebot» в Webmaster Tools, чтобы помочь Google отладить проблему.

Ранее издание Search Engine Roundtable со ссылкой на Джона Мюллера сообщило, что владельцам сайтов не стоит сильно беспокоиться в случаях, когда из-за неисправности или случайной блокировки сканирования поисковый робот Googlebot не может получить доступ к сайту. После того, как запрет на сканирование краулером будет снят, URL-ы страниц сразу же появятся в индексе Google.