Получайте бесплатные уроки и фишки по интернет-маркетингу

Подпишитесь сейчас

Ваши данные в сохранности
Нет, спасибо!

Архив метки: robots

  • 14 ноября 2014
    Просмотров: 45 974

    Файл robots.txt или как сделать робота своими руками

    Как создать правильный файл robots.txt, настройка, директивы

    Файл robots.txt — текстовый файл в формате .txt, ограничивающий поисковым роботам доступ к содержимому на http-сервере. Как определение, Robots.txt — это стандарт исключений для роботов, который был принят консорциумом W3C 30 января 1994 года, и который добровольно использует большинство поисковых систем. Файл robots.txt состоит из набора инструкций для поисковых роботов, которые запрещают индексацию определенных файлов,…

    читать далее
  • 01 октября 2014
    Просмотров: 4 527

    Поисковая оптимизация постраничной навигации

    Поисковая оптимизаця постраничной навигации

    Пагинация — постраничная навигация на сайте или еще проще, порядковая нумерация страниц сайта. Вроде бы банальное и распространенное явление, однако, до сих пор вокруг него ходят споры по поводу того, какой должна быть пагинация для SEO. Примеры и аргументы у всех свои, но суть, как правило, одна: больше страниц — лучше СЕО. Нет, не лучше….

    читать далее
  • 21 августа 2014
    Просмотров: 5 537

    Чем меньше страниц индексируется тем больше трафика

    Запрет индексации страниц сайта в robots.txt

    При посещении сайта, поисковый робот использует ограниченое количество ресурсов для индексации. То есть поисковый робот за одно посещение может скачать определенное количество страниц. В зависимости от частоты обновления, объема, количества документов и многих других факторов, роботы могут приходить чаще и скачивать больше страниц. Чем больше и чаще скачиваются страницы — тем быстрее информация с Вашего…

    читать далее
Наверх