Правильный Robots.txt для популярных CMS

Правильный Robots.txt для популярных CMS

В этой статье вы сможете скачать правильный robots.txt для WordPress и других популярных CMS. А так же более детально изучить как работает robots.txt. Так как он помогает закрывать не нужные страницы и экономить краулинговый бюджет который выделяет ПС на ваш сайт.

Robots.txt для WordPress

Скачать “robots.txt для WP” robots.txt-dlja-wp-1.zip – Загружено 9 раз – 402 B

Robots.txt для Bitrix

Скачать “Robots.txt для Bitrix” robots.txt-dlja-bitrix.zip – Загружено 8 раз – 412 B

Robots.txt для Joomla

Скачать “Robots.txt для Joomla” robots.txt-dlja-joomla.zip – Загружено 8 раз – 335 B

Robots.txt для Opencart

Скачать “opencart.zip” opencart.zip – Загружено 7 раз – 497 B

Как настроить robots.txt Самому

Многие CMS уже имеют файл в корне сайта по умолчанию, и поэтому вам не обязательно создавать его с нуля. Вы можете только немного его подкорректировать под свои нужды.

Шаг 1. В текстовом редакторе создайте файл с именем robots.txt и заполните его в соответствии с представленными ниже правилами. Это не конечный вариант файла robots.txt. Этот набор правил редактируется под каждый сайт отдельно и зависит от того, что нужно закрыть, а что — оставить открытым.

Шаг 2. Проверьте файл в сервисе Яндекс.Вебмастер (пункт меню Анализ robots.txt).

Шаг 3. Загрузите файл в корневую директорию вашего сайта с помощью ФТП клиента.

Шаг 4. Проверить открываться ли файл по адресу http://Вашсайт.ру/robots.txt

Что надо закрывать от индексации в robots.txt

  • страницы с личной информацией пользователей;
  • корзину и сравнение товаров;
  • страницы поиска;
  • страницы с шаблонами сайта;
  • страницы регистрации и авторизации;
  • страницы для печати;
  • административную часть сайта.

Что должен содержать файл robots.txt

  • User-agent: *;
  • Disallow: /админка сайта/;
  • Sitemap: http://mysite.com/sitemap.xml

Будьте внимательны! Программисты при разработке сайта закрывают его, прописывают директиву Disallow: /.После запуска сайта забывают ее убрать, а роботы индексируют и выкидывают из поисковой базы весь сайт.

Другие индивидуальные настройки

Crawl-delay; Директива Crawl-delay указывает время, которое роботы должны выдерживать между загрузкой двух страниц.

Clean-param; Для исключения страниц сайта, которые содержат динамические (GET) параметры.

Спецсимволы $, *, /, #;

Спецсимвол * (звёздочка) означает любую последовательность символов.

Спецсимвол # (решётка) используется для комментариев в файле для себя, пользователей.

Спецсимвол / (слеш) используется в каждой директиве Allow и Disallow. С помощью слеша можно запретить доступ к папке и её содержимому /category/ или ко всем страницам, которые начинаются с /category.

Спецсимвол $ запрещает конкретный url который вы указали

Вывод

Мы рассмотрели основные настройки файла Robots.txt. Для более подробного изучения читайте faq.

Использование robots.txt справка Яндекс

Часто задаваемые вопросы о роботах

О файлах robots.txt справка Google

Бонус для читателей блога

Генератор картинок для robots.txt  http://picascii.com/

Была ли статья полезна?
0
SEO / Дата публицации: 01.02.2019

Автор: Павел Гречко

Продвижение и оптимизация сайта (SEO) от 20 000 рублей. Смотрите подробнее  мои услуги

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *