Записи с меткой: файл robots.txt

Сегодня в СМИ

  • Комментарии

    • mogzem: Полезная информация для родителей - на что обратит »

    • Вадим: Спасибо за новость »

    • Анастасия: Очень люблю такую маску! Кстати, мёд тоже :) Ещё я »

    • onlinemixx: А спецы америкосов стопроцентов уже давно имеют до »

    • onlinemixx: Сколько людей - столько мнений, способов и прочего »

AdSense AdWords Android AOL Apple Bing Facebook google Google AdWords Instagram Mail.ru Mail.ru Group Microsoft rambler telegram Twitter Vkontakte WhatsApp Yahoo YouTube Контекстная реклама Мэтт Каттс Однокласники Раскрутка Реклама Россия Яндекс.Директ Яндекс Директ бегун в контакте интернет новая функция новости обновление однокласники поиск пользователи продвижение рунет сайт социальная сеть социальные сети статистика тестирование яндекс

На чем я зарабатываю:

seopult

Последние твиты

    Где раскручивать сайт:

    seopult

    Архив записей

    Google: robots.txt не должен превышать 500 Кб

    1 февраля 2012 года   |  Google

    Представитель команды помощи вебмастерам Google Джон Мюллер на своей странице в Google+ напомнил вебмастерам, что для файлов robots.txt установлен лимит по объёму в 500 Кб.

    В комментариях к сообщению было отмечено, что даже у Google этот файл весит всего 6,43 Кб, поэтому аналогичный документ, занимающий полметра пространства, - это случай из разряда фантастики. Однако Мюллер заметил, что и такое может произойти, к примеру, если CMS сайта самостоятельно создаёт файл robots.txt.

    Если ваш файл

    Читать далее >>

    Почему рискованно не иметь файл robots.txt

    26 августа 2011 года   |  Google

    В последнем видеоролике на Webmaster Help Мэтт Катс рассказал ответил на вопрос пользователя о файле robots.txt . Вопрос звучал так: “Лучше ли иметь пустой файл robots.txt или содержащий User-agent: *Disallow:” или, может быть, лучше не иметь файла robots.txt совсем?”

    «Я бы ответил, любой из двух первых вариантов», - были первые слова Катса. «Совсем не иметь файл robots.txt несколько рискованно, потому что иногда, если у вас этого файла нет, ваш веб-хост отдает страницу 404, а это уже ведет к

    Читать далее >>
    Статьи