Как заблокировать Yahoo bot в robots.txt

Как заблокировать Yahoo bot в robots.txt

Yahoo! Slurp порой очень даже интенсивно индексирует сайты. Потребляя много трафика и создает заметную нагрузку на сервер. Что бы заблокировать yahoo bot надо в файле robots.txt прописать простую команду:

User-agent: Slurp
Disallow: /

Еще можно ограничить запросы робота Slurp (Yahoo) по времени используйте инструкцию Crawl-delay.

User-agent: Slurp
Crawl-delay: 10

Была ли статья полезна?
0
FAQ / Дата публицации: 08.02.2019

Автор: Павел Гречко

Продвижение и оптимизация сайта (SEO) от 20 000 рублей. Смотрите подробнее  мои услуги

Добавить комментарий

Ваш e-mail не будет опубликован. Обязательные поля помечены *