В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt

17 июля 2014 года   |  Google

В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt

Google представил обновленный инструмент проверки файлов robots.txt.

Усовершенствованный robots.txt testing tool будет доступен в разделе «Сканирование» (Crawl) сервиса «Инструменты для веб-мастеров».

Обновление призвано помочь вебмастерам решить проблему поиска директив, блокирующих конкретные URL-ы внутри больших файлов robots.txt.

Обновлённая версия robots.txt testing tool:

покажет, в какой конкретно строке программного кода интересующая страница закрыта от индексации.
позволит произвести проверку всех изменений, внесённых в файл robots.txt перед его загрузкой;
обеспечит возможность просмотра более ранних версий файла robots.txt для отслеживания случаев запрета сканирования поисковым роботом.

Специалисты Webmaster Tools рекомендуют проводить двойную проверку файла robots.txt, дополнительно используя другие инструменты сервиса: например, функцию Fetch as Google в разделе «Сканирование» (Crawl), который позволяет вебмастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScript, как Googlebot.

Представители поиска также предупреждают: в случаях, когда Googlebot обнаруживает внутреннюю ошибку сервера 500, допущенную при добавлении контента в файлы robots.txt file, Google автоматически приостанавливает сканирование веб-сайта.

Иллюстрация к статье: Яндекс.Картинки

Читайте также

Статьи