Как закрыть сайт от индексации поисковых систем

Довольно часто необходимо закрывать сайт от индексации поисковых систем или же закрывать только некоторые его элементы. Таким образом определенная информация не попадет в индекс. Есть несколько причин это делать, а также практически десяток способов выполнения закрытия индексации. Обо всех из них я расскажу ниже.

Зачем закрывают сайты от индексации?

Веб-мастера довольно часто закрывают сайты или некоторые их части от поисковых систем. Самыми распространенными причинами такого поведения можно назвать:

  • Когда сайт только что был создан. Еще полностью не проработан интерфейс, меняется блог, происходит наполнение разными элементами, меняются детали дизайна и тому подобное. В таком случае сайт, конечно, еще не выглядит так, как хотелось бы его владельцу. Поэтому и не нужно, чтоб Гугл и Яндекс проводили индексацию на нем. В противном случае мусорные страницы попадут в индекс, что может помешать продвижению. Но в тоже время не стоит думать, что если поисковикам не были отправлены ссылки, то тогда сайт будет полностью невидимым. На самом деле поисковые работы учитывают еще и собственные посещения сайта через браузер.
  • Нужно поставить вторую версию сайта. Аналог тестируется, выявляются особенности доработки. В таком случае необходимо закрывать эту пробную версию, ведь переходы на нее вредят продвижению основного проекта. Поисковые алгоритмы просто путаются, и ничем хорошим это не заканчивается.

Конечно, если и другие причины того, что сайты закрывают от индексации. Это может быть невозможность дублирования схожей информации, удешевление продвижения и многое другое.

Какие есть варианты скрытия сайта от индексации?

Наиболее распространенными вариантами можно назвать:

  • Скрытие через панель инструментов в WordPress.
  • Смена в robots.txt.
  • При помощи мета-тега name=“robots”
  • Прописывание специального кода.

Закрытие от индексации через WordPress

Если сайт создан на Вордпресс, то этот способ подойдет лучше всего. Алгоритм скрытия от поисковых ботов выглядит так:

  • Открыть «Панель управления».
  • Перейти в «Настройки».
  • Выбрать пункт «Чтение».
  • Выбрать пункт «Видимость для поисковиков».
  • Поставить галочку около пункта «Не индексировать».
  • Нажать на «Сохранение».

Это один из самых простых вариантов. Но стоит отметить, что окончательное решение на счет индексации лежит на Гугле и Яндексе. В некоторых случаях они могут продолжать индексацию (особенно это касается гугла).

При помощи файла robots.txt

Подойдет для случаев, если сайт работает на ином движке. Также способ довольно простой и не затратный с точки зрения времени. Нужно сделать обычный текстовый документ (конечно, в формате txt, и назвать его robots).

После этого документ скидывается в корневую попку. В таком случае происходит открытие по site.ru/robots.txt.

Он пустой, поэтому нужно будет прописать необходимые коды. Именно с их помощью сайт закрывается от индексации (его элементы или полностью).

Закрыть сайта полностью для всех поисковых систем

Нужно будет прописать в robots.txt команду:

User-agent: *

Disallow: /

В таком случае поисковые системе не будут вносить данные в свою базу. Можно проверить через адресную строку эффективность работы, введя комбинацию: Название__вашего_домена.ru/robots.txt. Если появилась информация, указанная в файле, то тогда все в порядке. Если выдает ошибку под кодом 404, то тогда процесс был проведен неверно. По личному опыту можно сказать, что скорее всего файл скинули не туда, куду требуется.

Отдельную папку

В таком случае вводится следующая команда:

User-agent: *

Disallow: /folder/

Происходит скрытие файлов, которые находятся в указанной папке.

Только в Яндексе

Прописывается комбинация:

User-agent: Yandex

Disallow: /

Проверить эффективность также довольно просто. Нужно добавить в Яндекс-Вебмастер блог, а потом перейти по ссылке https://webmaster.yandex.ru/tools/robotstxt/. Добавив ссылки в поле для ввода урла нажимают на кнопку проверки. Если все верно было сделано, то будет написано, что проверка запрещена определенным правилом.

Только для Google

Прописывается комбинация:

User-agent: Googlebot

Disallow: /

Установка будет идентичной, что и в предыдущем случае, но использовать требуется консоль гугла. В таком случае при эффективности будет прописано, что ссылка заблокирована. Но в некоторых случаях, даже если все сделано верно, то все-равно происходит разрешение индексации. Скорее всего, что решение по индексированию было принято положительное несмотря на то, что сам веб-мастер запретил его.

Для других поисковиков

У каждой поисковой системы есть собственный набор ботов. У каждого из них есть особенные имена. То есть прописать коды для запрета индексации сразу для всех поисковых систем не получится. Но, конечно, все эти «ключи» команд есть в свободном доступе. К примеру, можно увидеть следующие:

Поисковик Yahoo. Имя робота – Slurp.

Спутник. Имя робота – SputnikBot.

Bing. Имя робота – MSNBot.

Все эти данные есть в интернете. Но, понятно, что закрытие индексации для всех займет немало времени.

Скрыть изображения

В таком случае поисковые системе не будут считывать картинки, расположенные на сайте. Команды зависят от формата изображений. Нужно будет прописать их все:

User-Agent: *

Disallow: *.png

Disallow: *.jpg

Disallow: *.gif

Закрыть поддомен

У каждого поддомена есть свой файл robots.txt. Он располагается в корневой папке. Нужно будет добраться до этого документа, а потом уже там, прописать следующую команду:

User-agent: *

Disallow: /

Если этого поддомена нет (что не редкость), то его прописывают самостоятельно.

Тег name=”robots”

Это тоже довольно популярный способ, который не займет много времени. Закрыть от индексации с помощью тега можно как весь сайт целиком, так и отдельные его части. К примеру, можно внутри тегов <head> и </head>, добавить код:

<meta name=”robots” content=”noindex, nofollow”/>

В настройках сервера

Этот способ веб-мастер выбирают, если не получиться выполнить процесс описанными выше методами. В таком случае будет проводиться настройка при помощи файла .htaccess. По сути процесс несложный. Нужно прописать по формату SetEnvIfNoCase User-Agent «^Googlebot» search_bot все поисковики в отдельных строчках.

С помощью HTTP заголовка X-Robots-Tag

Это тоже настройка портала при помощи файла htaccess. Но работать он будет лишь по заголовкам, которые есть на сайте. Это авторитетный вариант, который гарантирует полное закрытие заголовком от индексации. Алгоритм его не такой простой, как описанных выше методов, но в некоторых случаях будет логично использовать именно этот вариант.

Конечно, остается всегда самостоятельная возможность проверить, был ли действительно закрыт сайт или некоторые его части от индексации поисковых систем. Есть различные варианты это сделать.

Заключение

Сайт требуется закрывать по многим причинам. И веб-мастера обычно используют один или сразу несколько из представленных методов. Способы довольно простые в реализации, бесплатные, много времени на их выполнение не потребуется даже новичку. Но стоит понимать, что эти варианты не всегда работают, они не могут обеспечить стопроцентное закрытие.

Павел Гречко
Павел Гречко
SEO-эксперт. На рынке с 2006 года. Занимаюсь созданием и продвижением сайтов, провожу стажировки по SEO.

SEO для бизнеса

Оптимизация и продвижение вашего сайта
₽20000
15 000 В месяц
  • Изучаем спрос в вашей нише
  • Делаем идеальную структуру сайта
  • Создаём страницы на основе СЯ
Popular

Продвижение в Яндекс.Дзен

Привлечение новой аудитории с помощью статей
20 000 В месяц
  • Составляем контент план
  • Заказываем статьи у копирайтера
  • Публикуем статьи на канале

Семантическое ядро

Исследуем спрос на ваши товары или услуги
15 000 Единоразово
  • Изучаем ваши конкурентов
  • Парсим все поисковые фразы
  • Создаём идеальную структуру сайта
Другие мои публикации

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Оставить заявку!