Записи с меткой: follow
-
Все о Robots.txt
28 января 2008 года | Поисковые системы
-
Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем "robots.txt" (http://www.mydomain.com/robots.txt). Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.
Формат файла robots.txt - особый. Он состоит из записей. Каждая запись состоит из двух полей: строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы disallow:
<Поле> ":"
Читать далее >>
Последние комментарии
mogzem: Полезная информация для родителей - на что обратит »
Вадим: Спасибо за новость »
Анастасия: Очень люблю такую маску! Кстати, мёд тоже :) Ещё я »
onlinemixx: А спецы америкосов стопроцентов уже давно имеют до »