Записи с меткой: robots.txt

Сегодня в СМИ

  • Комментарии

    • mogzem: Полезная информация для родителей - на что обратит »

    • Вадим: Спасибо за новость »

    • Анастасия: Очень люблю такую маску! Кстати, мёд тоже :) Ещё я »

    • onlinemixx: А спецы америкосов стопроцентов уже давно имеют до »

    • onlinemixx: Сколько людей - столько мнений, способов и прочего »

AdSense AdWords Android AOL Apple Bing Facebook google Google AdWords Instagram Mail.ru Mail.ru Group Microsoft rambler telegram Twitter Vkontakte WhatsApp Yahoo YouTube Контекстная реклама Мэтт Каттс Однокласники Раскрутка Реклама Россия Яндекс.Директ Яндекс Директ бегун в контакте интернет новая функция новости обновление однокласники поиск пользователи продвижение рунет сайт социальная сеть социальные сети статистика тестирование яндекс

На чем я зарабатываю:

seopult

Последние твиты

    Где раскручивать сайт:

    seopult

    Архив записей

    Google «заблокировал» отдельные страницы, закрытые в robots.txt

    5 апреля 2013 года   |  Google

    Google «заблокировал» отдельные страницы, закрытые в robots.txtНа страницах групп в сервисе «Рекомендаций для веб-мастеров» появились жалобы отдельных пользователей на то, что в отчетах об индексации страниц Google (Index Status report) в «Инструментах для вебмастеров» они обнаружили уведомления о том, что алгоритм поисковика заблокировал URL отдельных страниц.

    Поначалу данная информация вызвала легкое смятение у специалистов, однако в ходе проверки выяснилось, что в отчетах содержались данные о якобы блокировке отдельных веб-страниц, ранее закрытых в robots.txt. Хотя в

    Читать далее >>

    Google: robots.txt не должен превышать 500 Кб

    1 февраля 2012 года   |  Google

    Представитель команды помощи вебмастерам Google Джон Мюллер на своей странице в Google+ напомнил вебмастерам, что для файлов robots.txt установлен лимит по объёму в 500 Кб.

    В комментариях к сообщению было отмечено, что даже у Google этот файл весит всего 6,43 Кб, поэтому аналогичный документ, занимающий полметра пространства, - это случай из разряда фантастики. Однако Мюллер заметил, что и такое может произойти, к примеру, если CMS сайта самостоятельно создаёт файл robots.txt.

    Если ваш файл

    Читать далее >>

    Почему рискованно не иметь файл robots.txt

    26 августа 2011 года   |  Google

    В последнем видеоролике на Webmaster Help Мэтт Катс рассказал ответил на вопрос пользователя о файле robots.txt . Вопрос звучал так: “Лучше ли иметь пустой файл robots.txt или содержащий User-agent: *Disallow:” или, может быть, лучше не иметь файла robots.txt совсем?”

    «Я бы ответил, любой из двух первых вариантов», - были первые слова Катса. «Совсем не иметь файл robots.txt несколько рискованно, потому что иногда, если у вас этого файла нет, ваш веб-хост отдает страницу 404, а это уже ведет к

    Читать далее >>

    Яндекс и Sitemap

    3 июня 2008 года   |  Поисковые системы

    Обычно робот Яндекса узнаёт о страницах сайта, переходя по ссылкам. В большинстве случаев этого достаточно для полной индексации сайта. Однако, если ваш сайт содержит много динамически создаваемых страниц или же страницы, для попадания на которые требуется много переходов по ссылкам, робот Яндекса может не сразу найти некоторые страницы сайта или неверно определить их важность. Файлы Sitemap помогают решить эти проблемы.

    Файл Sitemap -- это файл с дополнительной информацией о страницах сайта,

    Читать далее >>

    Все о Robots.txt

    28 января 2008 года   |  Поисковые системы

    Поисковые сервера всегда перед индексацией вашего ресурса ищут в корневом каталоге вашего домена файл с именем "robots.txt" (http://www.mydomain.com/robots.txt). Этот файл сообщает роботам (паукам-индексаторам), какие файлы они могут индексировать, а какие нет.

    Формат файла robots.txt - особый. Он состоит из записей. Каждая запись состоит из двух полей: строки с названием клиентского приложения (user-agent), и одной или нескольких строк, начинающихся с директивы disallow:

    <Поле> ":"

    Читать далее >>
    Статьи