Лучшие способы удалить страницу из поискового индекса Google и Яндекс

Каждый веб-мастер, особенно на начальном уровне ведения сайта, сталкивался с необходимостью удаления страниц из индекса поисковиков. Только на первый взгляд кажется, что процедура эта простая. По факту оказывается, что этот процесс сопряжен с рядом трудностей. Я расскажу вам, каким образом лучше всего удалить страницу из поискового запроса Гугла или Яндекса.

Зачем нужно убирать страницы из индекса?

Скрывать страницу от индексации поисковиками может понадобится по ряду причин. К примеру:

  • Сайт еще разрабатывается и в выдачу он попал случайным образом.
  • Контент, размещенный на странице, более не является актуальным.
  • Страница является дублем другой, которая уже есть на сайте.
  • Под индексацию попали служебные страницы, на которых размещаются личные данные клиентов.

Если не удалять из индексации страницы, которые подходит под вышеизложенные четыре пункта, то это грозит серьезными проблемами. Потому вопрос правильного избавления от них очень актуален.

Как закрыть страницу от поисковиков с помощью панели вебмастера?

Этот метод закрытия страниц от рассмотрения поисковиками считается одним из самых простым. Идеально способ подойдет для случаев, когда определенные урлы нужно срочно удалить.

Yandex

Для этого вам понадобится сервис Яндекс.Вебмастер. После добавления сайта на эту площадку нужно будет перейти по следующей ссылке: https://webmaster.yandex.ru/tools/del-url/. Затем нужно добавить в соответствующее поле адрес конкретной страницы, а потом нажать на «Удалить».

Стоит отметить, что обычно Яндекс просит ускорить при этом процесс удаление страниц из базы данных системы. Для этого нужно будет предварительно закрыть ее от индексации ботами через файл либо мета-тег robots, или сделать так, чтобы сервер выдавал ошибку 404.

Обычно боты проводят работу в течение нескольких часов иди дней. После этого документ будет удаляет их из базы. Обратите внимание, что время до нескольких суток нужно для того, чтоб поисковый алгоритм убедился, что с документом не происходит никаких изменений.

Google

Авторизуйтесь на площадке Google Webmaster Tools. Перед этим нужно добавить сайт для индексации (если вы этого не делали ранее). После этого найдите вкладку «Индекс Google», и под ним «Удалить URL адреса». Появится новое окно, в котором будет опция создания запроса на удаление страницы. Нужно указать там адрес удаляемого документа, после этого требуется отправить запрос.

Вверху экрана вы увидите сообщение о том, что данный урл был добавлен в список удаляемых. Документ удаляется их индекса Гугла в течение нескольких часов (может занять до суток).

Ошибка 404 на сервере

Каждый пользователь интернета, пожалуй, видел страницу с ошибкой 404 «Страница не найдена». Эта надпись значит, что искомый документ был удален с сайта.

Выполнить это удаление документа может вебмастер. Он пользуется панелью управления. По сути для поисковиков этот процесс означает, что вы настраиваете ответ сервера на страницы так, что при входе по определенному адресе появлялся код 404 not found. Если робот снова посетит искомый урл, то сервер сообщит ему, что данной страницы больше нет. Поисковый бот понимает, что документ был удален из базы сайта, поэтому он уберет его их поисковой выдачи для того, чтоб пользователи, которые будут заходить на страницу, не видели ошибку 404. К главных особенностям этого способа можно отнести:

  • Настройка проводится очень быстро – всего пару кликов.
  • Документ полностью исчезает с сайта. Не рекомендуется поэтому пользоваться данным способом, если из поиска нужно убрать служебную страницу, к примеру, с конфиденциальной информацией клиентов компании.
  • Также стоит выбрать другой вариант скрытия страницы (например, 301 ридерект), если на страницу ведут входящие ссылки.

Обратите внимание на то, что страницы выпадает из поискового индекса не за счет ее удаления веб-мастером с сайта, а за счет дальнейшей переиндексации. Поэтому для ее удаление придется подождать около двух недель, пока поисковый бот вновь не посетит ресурс.

Веб-мастера называют такой способ самым удобным для них. Но чтение ошибки 404 не нравится пользователям. Есть вероятность, что увидев такую надпись на экране человек вовсе уйдет с сайта и не будет посещать его в дальнейшем.

Эту проблему можно разрешить. К примеру, на странице 404 можно прописать какую-то полезную информацию, например, посыл посетить другие страницы сайта. Если правильно оформить страницу ошибки, то она становится более привлекательной для пользователя. Понятно, что это положительно скажется на репутации и рейтинге веб-ресурса.

Изменение файла robots.txt

Это еще один популярный метод, к которому прибегают разработчики. С его помощью можно скрыть отдельные документы. А также и целые разделы сайта. В файле robots вы можете не только запретить, но и разрешить поисковым ботам индексировать сайт или определенные страницы. Данные команды обеспечиваются директивами Disallow.

Сначала нужно получить доступ к корневой папке. В документе robots.txt в основном содержатся 2 строки:

  • User-agent. Имя робота определенного поисковика, которому запрещено будет индексировать страницу. Можно прописать код User-agent: *, применимый сразу для всех ботов.
  • Disallow. Тут прописывается URL удаляемой страницы.

Вместе дериктивы создают команду для поисковиков, касающуюся определенного урла. В одном файле можно сразу скрыть несколько документов, при этом они не будут оказать на друг друга никакого влияния.

Стоит отметить, что если на удаленных страницах есть внешние ссылки, но они остаются доступными для перехода (но именно по ним). Дело в том, что команды в файле robots не удаляют объект из поисковой выдачи фактически, а лишь скрывают его из результатов.

Мета-тег Robots

По сути данный способ схож с предыдущим, но все команды прописываться будут в html-коде сайта внутри тегов head: <meta name =“robots” content=”noindex,nofollow” />

Изменения проводятся после индексации сайта. Плюс этого метода в том, что с его помощью можно из поиска убрать множество урлов без необходимости изменения файла robots. Это отличный вариант для начинающих веб-мастеров, которые создают новые страницы. Кроме того, данный способ подойдет в случае, если вам требуется закрыть страницу от индекса Яндекса, но оставить ее активной для Гугла. Отлично подойдет и в случае, если документ нужно убрать из поиска, но оставить информацию на сайте о нем.

Обратите внимание на то, что прописывание мета-тегом несколько отличается от изменения robots.txt. Отличие в том, что их помощью вы можете убрать объекты из поиска, даже если на него ведут внешние ссылки. Этому способствует мета-тег noindex. Но если сайт создан не на WordPress, то процедура будет более сложной. Дело в том, что в WP есть специальный плагин Yoast SEO, который и позволяет удалять страницы мета-тегами.

Итоги

Если появляется необходимость убрать страницу из индекса, то можно выбрать один из представленных выше методов. Учитывать стоит то, какие есть характерные особенности. Если нужно быстро закрыть документ, то применяйте сразу несколько вариантов из статьи одновременно.

Поделись интересным материалом!
Павел Гречко
Павел Гречко
SEO-эксперт c 10-летним опытом работы. Своим опытом и знаниями он делится, создавая полезные статьи про SEO и диджитал-маркетинг. Остались вопросы? пишите в комментариях или в телеграмм.

SEO для бизнеса

Оптимизация и продвижение вашего сайта
20000
15 000 В месяц
  • Изучаем спрос в вашей нише
  • Делаем идеальную структуру сайта
  • Создаём страницы на основе СЯ
Popular

Продвижение в Яндекс.Дзен

Привлечение новой аудитории с помощью статей
20 000 В месяц
  • Составляем контент план
  • Заказываем статьи у копирайтера
  • Публикуем статьи на канале

Семантическое ядро

Исследуем спрос на ваши товары или услуги
15 000 Единоразово
  • Изучаем ваши конкурентов
  • Парсим все поисковые фразы
  • Создаём идеальную структуру сайта
Другие мои публикации

Добавить комментарий

Ваш адрес email не будет опубликован. Обязательные поля помечены *

Оставить заявку!