Google: robots.txt не должен превышать 500 Кб

1 февраля 2012 года   |  Google

Представитель команды помощи вебмастерам Google Джон Мюллер на своей странице в Google+ напомнил вебмастерам, что для файлов robots.txt установлен лимит по объёму в 500 Кб.

В комментариях к сообщению было отмечено, что даже у Google этот файл весит всего 6,43 Кб, поэтому аналогичный документ, занимающий полметра пространства, — это случай из разряда фантастики. Однако Мюллер заметил, что и такое может произойти, к примеру, если CMS сайта самостоятельно создаёт файл robots.txt.

Если ваш файл robots.txt всё же превышает установленный размер, то в любом случае поисковый робот прочитает лишь первые 500 Кб. Кроме того, такие тяжеловесы могут привести к ошибкам индексации, и ваш сайт будет терять позиции в результатах поиска Google.

Показать новость друзьям:

Хочешь быть в курсе последних новостей сайта?
Подпишись на обновления сайта по RSS контекстная реклама и социальные сетиRSS, RSS контекстная реклама и социальные сетиEmail или twitter контекстная реклама и социальные сетиTwitter

Новости партнеров

Статьи