Мэтт Каттс (Matt Cutts) еще раз объяснил вебмастерам, почему Google не удаляет из выдачи страницы, отдающие ошибку 404 — Not Found (Не найдено), и насколько важно грамотно проставлять коды состояния HTML с точки зрения поисковой оптимизации. С этой целью он опубликовал твит со ссылкой на видео 2011 года, весьма актуальное и на сегодняшний день.

Отвечая на вопрос пользователя из Канзаса: «Почему Google так долго не удаляет из выдачи ссылки на страницы с 404-й ошибкой?», главный инженер Google поведал специалистам отрасли следующее:

«Если подходить к вопросу с точки зрения теории, то зачастую ошибка 404 — Not Found (Не найдено) может означать, что страница перемещена лишь временно и вскоре может вернуться на этот URL. Технически же, если вы хотите указать на то, что страница была удалена или перемещена навсегда, то следует применять код состояния HTTP 410 — Gone (Больше не существует).

Однако, если говорить о том, почему страницы с перемещенными или удаленными документами могут еще долго показываться в выдаче, отвечу, что зачастую вебмастер допускает ошибку, если использует редирект 404, подразумевая при этом ошибку 503 — Service Unavailable (Сервис недоступен).

Использование кодов состояния HTML – очень коварный вопрос т.к. вы постоянно рискуете разочаровать пользователя. Вот почему мы всегда пытаемся найти баланс, основываясь на фидбэке, исходящем от пользователей, и тщательно прислушиваясь к их мнениям. Мы также стараемся чаще сканировать страницы с ошибкой 404, пытаясь найти «вернувшийся документ», поскольку обычно, спустя некоторое время после восстановления документа, вебмастера начинают «тихо ненавидеть» Google за то, что его алгоритмы «не могут просканировать» обновившийся ресурс.

Теперь поговорим о коде 410 — Gone (Больше не существует): если вебмастер допускает ошибку, проставляя такой код состояния в случае перезагрузки сервера, реконструкции сайта и т.п. – это вовсе не саботаж, а свидетельство серьезного повреждения, которое в перспективе может быть исправлено».