Записи с меткой: проверка файлов robots.txt

В Google Webmaster Tools обновлён инструмент проверки файлов robots.txt

17 июля 2014 года   |  Google

В Google Webmaster Tools обновлён инструмент проверки файлов robots.txtGoogle представил обновленный инструмент проверки файлов robots.txt.

Усовершенствованный robots.txt testing tool будет доступен в разделе «Сканирование» (Crawl) сервиса «Инструменты для веб-мастеров».

Обновление призвано помочь вебмастерам решить проблему поиска директив, блокирующих конкретные URL-ы внутри больших файлов robots.txt.

Обновлённая версия robots.txt testing tool:

покажет, в какой конкретно строке программного кода интересующая страница закрыта от индексации.
позволит произвести

Читать далее >>
Статьи