Записи с меткой: Robots Exclusion Protocol

Google хочет сделать Robots Exclusion Protocol официальным стандартом

1 июля 2019 года   |  Разное

Google хочет сделать Robots Exclusion Protocol официальным стандартомGoogle заявил, что хочет сделать Robots Exclusion Protocol (REP) официальным стандартом. Для этого компания вместе с создателем протокола, вебмастерами и другими поисковыми системами задокументировала, как REP используется в современном вебе, и подала проект спецификации на рассмотрение в Инженерный совет интернета (англ. Internet Engineering Task Force, IETF).

Протокол исключений для роботов был разработан голландским инженером Мартейном Костером (Martijn Koster) в 1994 году. Он позволяет ограничивать

Читать далее >>
Статьи