Что надо закрывать от индексации на сайте и экономить ресурсы поисковой системы

Индексация сайта представляет собой процесс сканирования определенными поисковыми роботами. Эти данные переносятся в базу данных поисковика. Ресурс считается проиндексированным, когда в нем провел работу поисковый бот. Это автоматизированные механизмы считывают не только информацию о самом сайте, но и о различных материалах, размещенных на страницах, к примеру, текстах, аудио и видео. Таким образом целевая аудитория сможет быстрей найти необходимую им информацию. Цель преследуется следующая: пользователь находит релевантную и ценную для него информацию. Выполняются и цели владельца ресурса: целевая аудитория приходит по собственному запросу.

Есть некоторые причины, по которым сканирование сайта и размещенная информация на определенной странице запрещаются:

  • Нужно, чтоб данные оставались уникальными и полезными. Это повышает позицию сайта в поисковых системах.
  • Экономия бюджета. Если данные не слишком важные, то их лучше скрыть, и таким образом сэкономить. Страницы же с важной информацией продолжают индексировать.

Что стоит закрыть на сайте?

От поискового бота можно скрыть лишь некоторую информацию, или же весь сайт целиком. Решать, какую информацию необходимо ограничить в индексировании, стоит по результатам проведенного анализа. Итак, закрыть допускается:

  • Размещенный контент.
  • Некоторые страницы.
  • Весь сайт целиком.

Размещенный контент

Довольно часто, особенно если речь идет о больших ресурсах, странички дублируются или дублируется некоторая информация, размещенная на них. Это может быть меню или блок текста с описанием, или же ссылка перехода на другой ресурс. Для улучшения оптимизации стоит закрыть эту дублированную информацию. Но делается это, как говорит личный опыт, в исключительных случаях.

Страницы

Это странички разного типа. Первый вариант – это дубли. К примеру, если контент описания товаров уникальный, то такие страницы можно сформировать по группа по разным сортировкам и фильтрам. Также такими страницами интернет-портала выступают страницы оформления заявки, страницы заказа, список желаний, корзина и другие другое. Также можно скрыть для поисковой индексации и страниц аккаунтов пользователя. В них нет никакой ценной информации, но они засоряют систему. Также скрыть желательно страницы поисков пользователей на сайте, к примеру, когда они сравнивают между собой цены и параметры товаров.

Весь сайт

Индексирование сайта не нужно, если он находится еще в разработке. Если же запустить индексацию сразу, то некорректная информация может попасть в поисковую базу и повредить дальнейшему продвижению.

Какую информацию на сайте не стоит закрывать?

Некоторые владельцы сайтов настолько увлекаются закрытием, что часто не раздумывая закрывают и информацию, которую не следовало бы закрывать. И это вредит сайту, его позиции в поисковой выдаче падают. К числу таких данных, которые закрывать не стоит, можно отнести:

  • Шапка сайта на странице. В этом разделе собрана наиболее важная информация о копании. Это ее специализация, адрес, контактные телефоны.
  • Меню и возможности. Здесь представлены интересные пользователю инструменты, к примеру, строчка поиска, сортировка, фильтры и другое.
  • Способы оплаты и доставки. От поискового бота не стоит прятать то, что указывает на заботу о клиентах.

Именно поэтому нужно внимательно учесть, какие страницы и информацию стоит закрывать, а какие нет. В некоторых случаях эти правила меняются, поэтому все оценивают индивидуально.

Какими средствами закрывают сайт или отдельные его элементы от индексации

Есть определенный набор инструментов, которые позволяют корректно закрыть сайт от индексации поисковым ботом. К их числу можно отнести:

  • Файл настроек robots.txt;
  • Теги и метатеги Robots;
  • Конфигурационный файл .htaccess;
  • Средства JavaScript.

Принцип работы с каждым из представленных инструментов разнится.

Файл robots.txt

Что надо закрывать от индексации на сайте и экономить ресурсы поисковой системы

Robots.txt – это служебный файл текстового типа. В нем находятся рекомендации для поисковиков. Располагается он в корневой папке сайта. Именно с него стартует проверка ботом. В этом документе есть перечень директивов, которые влияют на ограничение доступности определенных частей. Добавляя к тегу Disallow наименование области, получается скрыть ее от сканирования. В пример можно привести: Disallow: /название папки/ Disallow: /название раздела/. Также нужно перепроверить, не тли внешних ссылок, которые будут вести к закрытому разделу. Этот способ довольно простой, удобный и быстрый, если сравнивать ее с перечисленными ниже. Тем не менее есть и недостатки. К примеру, полное отсутствие индексирования не гарантируется.

Тег Noindex и метатег Robots

Метатег Robots позволяет задать точные настройки на каждой странице. От этих настроек меняется принцип индексации, отображение страницы в поисковике. Принцип настойки также довольно прост. Необходимо выбрать в разделе < head > страницы и вписать метатег robots.

Тегом noindex можно ограничить демонстрацию страницы для поисковых систем. Значение robots, задаваемое для атрибута name, по сути отражает то, что директив касается любого бота. Если требуется закрыть доступ лишь единственному боту, то тогда указывается значение атрибута name – наименование требуемого робота.

Эти два инструмента выполняют свою работу стопроцентно. Тег noindex можно применять и в HTML-коде страницы для закрытия части контента. Но этот тег не гарантирует отсутствие индексирования.

Конфигурационный файл .htaccess

Этот конфигурационный файл отвечает за дополнительную конфигурацию, что понятно из самого названия. В нем можно установить запрет на право доступа определенными поисковиками. При этом задается специальный пароль. В документе htpasswd вводится полный перечень пользователей, которым доступен файл. Путь доступа указывается как определенный код.

Получается, что этот конфигурационный сайт запрещает полностью доступ поисковикам к размещенному контенту. Защита стопроцентная. Тем не менее, этот метод не всегда удобен. Такое закрытие делает сайт неудобным для сканирования на наличие ошибок, ведь не у всех инструментов есть опция ввода защитного кода.

JavaScript

Есть определенные скрипты, которые позволяют закрыть сайт от индексации. К примеру, скрипт Ajax, скрывает не несущие полезной информации страницы и дубли. При этом можно с его помощью исключить даже возможность их создания. Получается, что содержание страницы изменяется без изменения в урле, когда человек вводит в фильтре значения.

Инструменты удаления страниц из индекса

Что надо закрывать от индексации на сайте и экономить ресурсы поисковой системы

В некоторых случаях страницы без полезной информации все же могут обходить запреты и попадать по индексирование. В таком случае положение сайта в поисковике будет непременно ухудшаться. Любая поисковая система относится негативно к таким «мусорным» страницам. С помощью опции Google Search Console можно легко убрать такие страницы из выдачи. Алгоритм этого устранения довольно простой. Необходимо ввести урл портала в строку сервиса, а также указать причину запрета и удаления. Найти опцию можно в «Индексе». Понятно, что закрытие таким образом большего числа страничек будет процессом длительным, хоть и простым. В «Инструментах» дополнительно выбирают инструменты закрытия: по урлу или префиксу. Первый вариант – указывается список страниц. Во втором случае можно закрыть страницы, которые относятся к определенному разделу портала.

Итоги

Элементы сайта только в некоторых случаях нужно закрывать от индексации. Но важность этого процесса неоспорима. За счет ограничения доступа к некоторым страницам и размещенной на них информации экономятся ресурсы поисковых систем. Следовательно, индексация сайта происходит существенно быстрей.

Но в любом случае бездумно приступать к выполнению процесса не стоит. Боты-поисковики могут из-за некоторых нюансов и продолжать считывать информацию. Если закрывать полезные данные с точки зрения продвижения, то можно столкнуться с тем, что позиции ресурса в поисковой выдаче заметно ухудшаться и сайт в целом начнет проседать.

Конечно, процессы скрытия от индексация довольно простые. Выполнить их может и владелец сайта без специальных знаний. Но в некоторых случаях, как говорит личный опыт, может потребоваться обращение в специализированные компании.

Павел Гречко
Павел Гречко
SEO-эксперт. На рынке с 2006 года. Занимаюсь созданием и продвижением сайтов, провожу стажировки по SEO.

SEO для бизнеса

Оптимизация и продвижение вашего сайта
₽20000
15 000 В месяц
  • Изучаем спрос в вашей нише
  • Делаем идеальную структуру сайта
  • Создаём страницы на основе СЯ
Popular

Продвижение в Яндекс.Дзен

Привлечение новой аудитории с помощью статей
20 000 В месяц
  • Составляем контент план
  • Заказываем статьи у копирайтера
  • Публикуем статьи на канале

Семантическое ядро

Исследуем спрос на ваши товары или услуги
15 000 Единоразово
  • Изучаем ваши конкурентов
  • Парсим все поисковые фразы
  • Создаём идеальную структуру сайта
Другие мои публикации

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Оставить заявку!