Иногда из результатов поиска нужно убрать страницу сайта, например, если она содержит конфиденциальную информацию, является дублем другой страницы или была удалена с сайта.

Еще варианты зачем удалять страницу из поиска

• страница содержит устаревший контент;
• страница содержит персональные данные;
• страница с дублированным контентом;
• страница с неуникальным контентом;
• удаление технических / служебных страниц;
• страницы с ограниченным доступом.

Удаление страниц из поиска Яндекс

Действие 1 Запретите индексирование страницы или каталога

• Укажите директиву Disallow в файле robots.txt.
• Настройте сервер так, чтобы при обращении робота к адресу страницы он отправлял HTTP-статус с кодом 404 Not Found
• Укажите на странице метатег robots с директивой noindex.

При обходе сайта робот сначала обращается к файлу robots.txt, если он есть, а затем к самим страницам сайта. Последовательный обход страниц может занять некоторое время. Если вы хотите удалить из поиска множество страниц, укажите директиву Disallow для нужных страниц.

Когда робот посетит сайт и узнает о запрете на индексирование, страница пропадет из результатов поиска в течение недели. После этого адрес удаленной страницы отобразится в списке исключенных на странице Индексирование → Страницы в поиске Яндекс Вебмастера.

Действие 2 Ускорьте удаление страницы

1. Перейдите на страницу Яндекс Вебмастера Удаление страниц из поиска.
2. В поле введите адрес страницы, которую надо удалить, например http://example.com/page.html.
3. Нажмите кнопку Удалить.

Как вернуть страницу в результаты поиска
Уберите запрет на индексирование: директиву Disallow в файле robots.txt или метатег noindex. Страницы вернутся в результаты поиска, когда робот обойдет сайт и узнает об изменениях. Это может занять до трех недель.

Удаление сайта из поиска Google

Для этого потребуется аккаунт в Search Console с подтвержденными правами владельца сайта.

Google предоставляет 3 варианта удаления:

• временный;
• удаление сайта навсегда;
• удаление сайта из-за нежелательного контента.

Рассмотрим каждый по отдельности.

Временное удаление сайта

Изначально Google предполагает удаление сайта из поиска Google на 6 месяцев, а также его описание и кэшированную версию. Нельзя по клику удалить сайт навсегда.

Для этого в Search Console переходим в раздел «Индекс» =>»Удаления» и нажимаем на кнопку «Создать запрос», далее вводим URL сайта или страницы, который нужно удалить из поиска.

Google даст на выбор два варианта удаления:

1. Скрыть страницу из выдачи и кэша поисковика (на 6 месяцев)
2. Скрыть весь каталог и страницы, которые с ним связаны

Дополнительно проверяем, доступна ли удаляемая страница (если удаляем страницу отдельно) по другим адресам, если да, то проделываем вышенаписанные манипуляции и с ними. Отправленные запросы будут отображены на той же странице.

Важно понимать, что во время этого удаления Google продолжит сканировать страницы в штатном режиме, если пользователь не установит на неё пароль. По истечении срока страница появится в выдаче. Временное удаление можно включить повторно в этом же разделе.

Удаление страниц или сайта навсегда

• Удалить или изменить контент ресурса и удостовериться в том, что веб-сервер отдает код статуса HTTP 404 (не найдено) или 410 (удалено)
• С помощью метатега noindex запретить сканирование страницы: <meta name=»googlebot» content=»noindex«>

Объединение нескольких страниц и указание главной

У вас есть несколько версий одной страницы. Я хочу объединить все эти страницы и перенести их на единый URL. Контент на этих страницах является практически не отличается.

В таком случае нужно использовать единый каноникал-тег. О том, как указать каноническую страницу – в справке Google. Учите, что rel canonical указывает на веб-страницу, которая является главной, а не второстепенной. Здесь следует иметь в виду, что каноникал-тег не является прямой директивой. Соответственно, краулеры могут его игнорировать.

Примечания
Как удалить сайт из поиска «Яндекс» и Google
Как удалить сайт или его отдельные страницы из поиска Яндекс и Googlе
https://yandex.ru/support/webmaster/yandex-indexing/removing-from-index.html#removing-from-index__revert