Как правильно удалить статью или страницу сайта из поиска Яндекс и Google. Убрать сайт из поиска


Как быстро удалить страницы сайта из индекса поисковых систем

Привет, друзья! Надеюсь, что вы отлично отдохнули на майские праздники: наездились на природу, наелись шашлык и нагулялись по расцветающей природе. Теперь же нужно возвращаться к активной работе =) .

Сегодня я покажу результаты одного небольшого эксперимента по удалению всех страниц сайта из поисковых систем Яндекса и Google. Его выводы помогут при выборе одного из методов для запрета индексирования всего ресурса или отдельных его частей.

Передо мной встала задача — закрыть сайт к индексированию без потери его функционала. То есть ресурс должен работать, но удалиться из индекса поисковых систем. Конечно, самый верный способ просто удалить проект с хостинга. Документы будут отдавать 404-ошибку и со временем "уйдут" из базы поисковиков. Но задача у меня была другая.

Детали эксперимента

Цели:

  • определить, какой метод запрета индексации приоритетней для поисковых систем;
  • понаблюдать в динамике за скоростью удаления страниц из индекса;
  • собственно, удалить проекты из баз ПС.

В эксперименте участвовало 2 сайта (всем больше года). Первый: в индексе Яндекса 3000 страниц, Google - 2090. Второй: Яндекс - 734, Google - 733. Если не удалять ресурс с хостинга, то остаются 2 популярных варианта: тег meta name="robots" и запрет в robots.txt.

Для первого сайта на каждой странице была добавлена строка:

<meta name="robots" content="noindex, nofollow"/>

Для второго был составлен следующий robots.txt:

User-agent: *Disallow: /

Эксперимент стартовал 14 декабря и продолжился до 9 мая. Данные снимались примерно на даты апдейтов Яндекса.

Результаты

Ниже графики динамики количества проиндексированных страниц. Сначала сайт №1 (метод удаления тег meta name="robots").

Как видно, поисковые системы вели себя примерно по одному сценарию. Но есть и различия. В Яндексе ресурс был полностью удален 10 февраля, когда в Google оставалось еще 224 страницы. Что говорить, спустя 5 месяцев там еще остается 2 десятка документов. Гугл очень трепетно относится к проиндексированным страницам и не хочет никак их отпускать .

Сайт №2 (способ запрета файл — robots.txt).

Здесь ситуация разворачивалась интереснее . Яндекс достаточно быстро (меньше чем за месяц) удалил все страницы. Гугл же за месяц выкинул из индекса около 100 документов, потом через месяц еще 200 и практически застыл на месте.

4 апреля мне надоело ждать и я поменял метод запрета с robots.txt на meta name="robots". Это принесло свои плоды — через месяц в базе Google осталось только 160 страниц. Примерно такое же количество остается и по сей день.

Примечателен еще один момент. Несмотря на то, что страницы из индекса удалялись достаточно долго, трафик с поисковиков начал падать значительно быстрее.

Получается, что ПС понимают, что вебмастер запретил ресурс или его документы к индексированию, но почему-то продолжают их там держать .

Выводы

  1. Яндекс любит больше работу с robots.txt;
  2. Google любит больше работу с meta name="robots". В связи с тем, что Гугл крайне не любит robots.txt, то универсальным будет именно способ с тегом. Совмещать методы нельзя, потому как, запретив ресурс в robots.txt, поисковый паук не сможет прочитать правила для meta name="robots".
  3. Зеркало Рунета достаточно быстро удаляет документы при любом методе. Зарубежный поисковик делает это неохотно — очень тяжело добиться полного удаления из базы.

Вот такой получился небольшой эксперимент. Да, конечно, выборка совсем небольшая, но и она смогла подтвердить мои предположения. В прикладном плане это можно использовать, когда есть необходимость закрыть определенные документы для индексирования: предпочтительно использовать meta name="robots" вместо директив в robots.txt.

А какие наблюдения по этой теме есть у вас? Поделитесь своим опытом в комментариях !

Загрузка...

sosnovskij.ru

Как убрать страницы из индекса Google и Яндекс

Бывает ситуации, когда нужно не быстро проиндексировать страницы, а убрать их с результатов поиска.

Например, когда вы купили доменное имя, и создаете на нем совершенно новый сайт, который никак не связан с предыдущим. Или в индекс попали страницы, которые там не должны быть. Или вы просто решили закрыть раздел на сайте, который больше не актуален.

Сегодня речь про то, как убрать страницы из индекса поисковых систем Google и Яндекс.

Мы детально рассмотрим основные способы, с помощью которых можно быстро убрать страницы из результатов поиска.

Давайте сразу перейдем к делу!

Способы убрать страницы из индекса поисковых систем:

1.    Удаление в инструментах Вебмастеров

Самым простым вариантом удаления страниц из индекса является удаление через Google Webmaster Tools и Яндекс Вебмастер.

Удаление страниц из поиска Google

Заходим в:

—       индекс Google

—       удалить URL адреса

Далее нажимаем «создать новый запрос на удаление» и добавляем в него нужный адрес URL, который удаляем.

После чего отправляем запрос на удаление страницы.

Далее URL страницы вноситься в список удаляемых, и переходит в статус ожидания.

Сразу возникает вопрос, а сколько ждать?

Удаление страниц происходит очень быстро. Вот тот же сайт, через 8 часов, после добавления:

Даже при не малом объеме страниц, можно убрать их из индекса крайне быстро. Например, тот же сайт, немногим ранее:

То есть было более 1200 страниц, потом стало пару десятков. А сейчас осталась практически одна главная страница.

Удаление страниц из поиска Яндекса

Переходим по ссылке: http://webmaster.yandex.ua/delurl.xml

Добавляем нужный адрес страницы, который необходимо удалить.

В итоге можем получить такой ответ:

То есть, все равно придётся сделать ниже описанные моменты, которые ускорят процесс удаления страниц из индекса Яндекса.

2.    Robots.txt

Файл robots.txt очень нужный инструмент, если дело идет к разрешению или запрещению индексации сайта от поисковых ботов.

Для того, чтобы удалить конкретные страницы с помощью robots.txt, то в сам файл дописываем такое:

За не индексацию или исключение страниц  или разделов отвечает функция: «Disallow:».

Можно закрывать от индексации, как отдельные страницы, так и целые разделы сайта. То есть то, что вы не хотите индексировать поисковыми системами. Robots.txt учитывается Google и Яндекс.

Например – закрытие раздела:

User-Agent: *

Disallow: /razdel

Закрытие страницы:

User-Agent: *

Disallow: /stranica1.html

Закрытие страниц поиска:

User-Agent: *

Disallow: /seoprofy.ua/?s*

Про robots.txt скоро будет очень объемный пост с многими техническими моментами, которые как минимум стоит знать и применять для решения задач сайтов.

3.    404 ошибка

Так же важно создать страницу 404 ошибки, чтобы сервер отдавал 404. Тогда при очередной индексации сайта поисковыми ботами они выкинут эти страницы из индекса.

Ответ сервера 404 ошибки создается по умолчанию, так как если ее не делать, на сайте может быть множество дубликатов страниц, которые плохо повлияют на рост трафика.

Хочу заметить, что удаление страниц из индекса таким способом может занять время, так как нужно дождаться ботов поисковых систем.

Это основные моменты, которые могут повлиять на удаление страниц из индекса поисковых систем.

В практике очень редко использует другое, как:

—       301 редирект

—       мета тег robots

—       X-robots-Tag

Но чтобы убрать нужные страницы из индекса наверняка, то лучше использовать все 3 выше описанные методы. Тогда это будет на порядок быстрее.

Так же можно просто удалить страницы и оставить лишь заглушку сайта, но не факт, что страницы пропадут из индекса очень быстро, поэтому лучше им в этом помочь.

Статьи которые дополняют:

— 5 способов удалить страницу из поиска Яндекса или Google

— Как использовать robots.txt рекомендации Яндекса

— Окончательное удаление страницы из индекса Google

 А какие способы вы еще знаете, чтобы быстро удалить страницы из поиска?

Оцените статью

Загрузка...

seoprofy.ua

Как удалить страницы из поиска Яндекса, Гугла Google. Как удалить сайт из поиска

Подробности Категория: Для сайта Опубликовано 27.08.2012 19:57

Иногда по некоторым причинам, необходимо удалить страницы, которые были ранее проиндексированы в поисковой системе. Существует несколько способов.

1. Запретить дальнейшую индексацию страницы.

Можно в файле robots.txt запретить дальнейшую индексацию страницы с помощью следующей строки:

Dis : ваша_страница

Например:

Disallow: /shops/mylikes.html

Данная строка запрещает поисковым системам индексировать страницу mylikes.html находящейся в катологе (папке) shop.

Если же вы хотите полностью запретить индаксацию сайта, а не лишь отдельных его страниц добавьте в robots.txt следующее:

Disallow: /

Данный метод позволит запретить поисковым системам сканирование ваших сайтов. Однако в чём минус такой системы - все страницы которые были убраны из индексации на момент добавления соответствующих строк в robots.txt, будут храниться в кэше поисковой системы и так же выводиться в результатах поиска.

 

2. Удаление страниц сайта из кэша Яндекс и Google.

2.1. Яндекс

Для того чтобы полностью убрать страницы вашего сайта и из индексации и запретить поиск, необходимо для начала удалить ( что бы URL вашей страницы отсылал 404 ) или запретить необходимые страницы в robots.txt. Затем перейти по ссылке http://webmaster.yandex.ru/delurl.xml, где в соответствующей форме введите путь до страницы и Яндекс удалит вашу страницу из результатов поиска, а соответственно и из кэша.

Например если вы хотите удалить из результатов поиска всю туже страницу mylikes.html введите:

http://ваш.сайт/shops/mylikes.html

После этого страница mylikes.html, будет добавлена в очередь на удаление и через несколько дней уйдёт из кэша Яндекса. Таким же образом можно удалить из кэша весь сайт, для этого введите в форму:

http://ваш.сайт/

 

2.2. Google

Для того чтобы убрать страницы из поиска Google необходимо:

1. Зайти в панель веб-мастера Google.

2. В список добавленных вами сайтов выбрать тот, страницы которого вы хотите удалить из поиска.

3. Слева, во вкладке "Оптимизация" выбрать "Удалить URL-адреса".

4. Нажмите "Создать новый запрос на удаление", после чего в окрывшемся окошке введите с учётом регистра путь до страницы.

Будьте внимательны! Указывайте путь в относительном виде. Т.е. Если вы хотите удалить страницу http://ваш.сайт/shops/mylikes.html, введите в форму только /shops/mylikes.html !!!

Если вы хотите удалить весь сайт из результатов поиска, введите в форму /. С помошью одного этого знака вы сделаете запрос на удаление всего сайта.

5. Ожидайте, в ближайшее время ваши страницы уйдут из поиска.

Добавить комментарий

youon.ru

Как правильно удалить статью или страницу сайта из поиска Яндекс и Google

Недавно у меня возник вопрос как удалить статью из поисковой выдачи. То есть, чтобы от неё и духа не осталось. Можно конечно же просто удалить её с сайта. Так как у меня настроена страница 404. То есть, если кто-то зайдёт по ссылке удалённого поста, то мой блог выдаст ему четыреста четвёртую страницу.

А со временем удалённый урл сам выпадет из поиска. Но, если честно, то не хочется, чтобы на блоге было слишком много подобных страниц. Это же всё-таки хлам, чем меньше его – тем лучше. И потом подобная страница может быть доступна в кешированном варианте сайта. Да и роботов лучше пожалеть  у них итак достаточно работы. И пусть им нравится наш блог.

Почему может возникнуть потребность удалить из индекса контент с сайта?

  • Страница может стать уже неактуальной
  • Вы захотели поменять URL
  • Нашли дублированную страницу на своём ресурсе

И так далее… Например недавно я неправильно написала заголовок. Так как в плане были сразу две статьи. Как назло статья проиндексировалась и пришлось скопировать код в html режиме, удалить тот пост. Проделать всё, что я написала ниже. И заново опубликовать статью. Ну что поделаешь, надо быть внимательнее.

Итак, сначала удаляем объект с блога. Если мы просто закроем её в файле роботс, то это не поможет. Так как, если кто-то уже сослался на неё, то она останется в поиске и в кеш. Мы сделаем это более надёжно:

Как  удалить страницу из поиска Яндекс

Переходим на Яндекс, в сервис Вебмастер https://webmaster.yandex.ru/  И читаем его требования к той странице, которую хотим удалить:

Её уже не должно быть на сайте. А когда на неё ссылаются, то должна выдаваться страница 404, если её нет, то нужно, чтоб она была закрыта в файле роботс, или метатегом noindex.

У поисковой системы Google требования практически такие же, но без «или». Может просто браузер переводит не правильно? Но я всё-таки закрыла её в robots, на всякий случай. Но об этом ниже. А сейчас продолжим.

Дальше жмём Удалить URL, выделено сиреневым под кнопкой Начать работу, четвёртая строчка снизу

 

 

 

Вставляем не нужную ссылку и удаляем

 

 

 

А теперь удаляем её из поисковой выдачи Гугла

Идём в инструменты для вебмастера https://www.google.com/webmasters/tools/ Выбираем нужный сайт и в левой колонке нажимаем раздел Индекс Google.  В выпадающем меню находим Удалить URL адреса. И жмём на кнопку Создать новый запрос на удаление

 

 

 

 

После этого видим такую картину, нажимаем отправить запрос

 

 

И перед нами страница, где мы видим статус удаляемой ссылки

 

 

Можно зайти и проверить через некоторое время удалил её Гугл из индекса или нет. А теперь делаем всё то что «просит» от нас Гугл.

Закрываем страницу или пост в файле robots

Нам надо просто добавить этот код в роботс

 

User-Agent:*

Disallow:/адрес_вашей_страницы

 

 

Закрываем удалённую страничку метатегом noindex (делаем это пока не удалили по какой-то причине страницу)

Сделаем это, применив вот этот код на странице

<meta name="robots" content="nofollow,noindex" />

Итак, мы правильно удалили страницу или пост с сайта и больше никто не сможет на неё зайти и прочитать!

УДАЛЕНИЕ СТАТЕЙ С ЧУЖИХ САЙТОВ

Но что делать если сайт, с которого нужно удалить статью принадлежит не вам? Можно попробовать связаться с администрацией сайта и вежливо попросить удалить информацию. Для этого нужно написать через контактную форму или на электронную почту указанную на сайте. Если на сайте не указаны контактные данные администрации, можно попробовать выяснить их используя сервисы Whois.

Если ввести адрес сайта, сервис покажет контактные данные владельца доменного имени. Иногда эта информация бывает скрыта, или заполнена поддельными данными, но шанс найти в whois электронную почту или телефон администратора домена достаточно высок.

 

 

Так выглядит пример запроса whois для домена. Иногда администратор указывает и реальный телефон. Тогда можно еще и позвонить. Но имейте в виду, что человек может находится совсем в другом часовом поясе нежели вы и перед звонком лучше выяснить к какому региону принадлежит данный код, чтобы не позвонить случайно посреди ночи.

УДАЛЕНИЕ ЧЕРЕЗ СУД

Если администратор сайта игнорирует ваши просьбы или упорно отказывается удалять нежелательную информацию, единственным возможным вариантом остается обратится в правоохранительные органы. Есть даже специализированные адвокатские компании, занимающиеся удалением информации в интернете. В такой компании вам помогут составить правильное обращение в суд, найдут контактные данные администратора сайта если у него установлен скрытый whois.

Одной из таких компаний является aдвокатское агентство F-Persona. Главной специализацией которой является защита репутации и удаление нежелательной информации из интернета. Услугами таких агентств пользуются в крайних случаях, когда все другие методы не действуют. Ведь известно, что судебные процессы довольно хлопотное и затратное дело.

  С Уважением, Татьяна Чиронова   

  

Сохраните пост к себе на стенку в соцсети

 

А здесь можно публиковать анонсы постов по теме:  

 

chironova.ru

5 способов удалить страницу из поиска Яндекса или Google — Devaka SEO Блог

Многие вебмастера рано или поздно сталкиваются с необходимостью удалить из поисковой системы страницы сайта, которые попали туда по ошибке, перестали быть актуальными, являются дублями или содержат конфиденциальную информацию клиентов (причины могут быть разные). Яркий пример тому уже нашумевшая ситуация с Мегафоном, смс-ки пользователей которого проиндексировал Яндекс, ситуация с интернет-магазинами, когда в поиске можно было найти личную информацию клиентов и подробности их заказов, ситуация с банками и транспортными компаниями и так далее…

Не будем касаться в этой статье причин описанных выше казусов, а рассмотрим, как удалить из Яндекса или Google ненужные страницы. Подразумевается, что они пренадлежат вашему сайту, в противном случае необходимо связываться с владельцем нужного ресурса с соответствующей просьбой.

5 способов удаления страниц из поисковых результатов

1. 404 ошибка

Один из простых способов удаления страницы из поиска это удаление её со своего сайта, с условием, что в дальнейшем, при обращении по старому адресу, сервер выдавал 404-ую ошибку, означающую, что страницы не существует.

HTTP/1.1 404 Not Found

В данном случае придётся подождать, пока робот ещё раз не зайдёт на страницу. Иногда это занимает значительное время, в зависимости от того, как она попала в индекс.

Если страница при удалении её из поиска должна существовать на сайте, то данный способ не подходит, лучше использовать другие, представленные ниже.

2. Файл robots.txt

Очень популярный метод закрыть от индексации целые разделы или отдельные страницы это использование корневого файла robots.txt. Существует множество мануалов, как правильно настроить этот файл. Здесь приведём лишь несколько примеров.

Закрыть раздел администраторской панели от попадания её в индекс поисковиков:

User-Agent: *Disallow: /admin/

Закрыть определенную страницу от индексации:

User-Agent: *Disallow: /my_emails.html # закрытие страницы my_emails.htmlDisallow: /search.php?q=* # закрытие страниц поиска

В случае с robots.txt тоже придётся ждать переиндексации, пока робот не выкинет из индекса страницу или целый раздел. При этом, некоторые страницы могут остаться в индексе, если причиной их попадания туда было несколько внешних ссылок.

Данный метод неудобно использовать в случае необходимости удаления разных страниц из разных разделов, если невозможно составить общий шаблон для директивы Disallow в robots.txt.

3. Мета-тег robots

Это альтернатива предыдущего метода, только правило задаётся непосредственно в HTML-коде страницы, между тегами <head>.

<meta name="robots" content="noindex,nofollow" />

Удобство мета-тега в том, что его можно добавить на все нужные страницы (с помощью системы управления), попадание которых нежелательно в индекс поисковика, оставляя файл robots.txt при этом простым и понятным. Недостаток данного метода лишь в том, что его сложно внедрить для динамического сайта, использующего один шаблон header.tpl, если отсутствуют специальные навыки.

4. Заголовки X-Robots-Tag

Данный метод используют зарубежные поисковые системы, в том числе Google, как альтернативу предыдущему методу. У Яндекса пока нет официальной информации о поддержке этого http-заголовка, но возможно, в ближайшее время будет.

Суть его использования очень похожа на мета-тег robots, за исключением того, что запись должна находиться в http-заголовках, которые не видны в коде страницы.

X-Robots-Tag: noindex, nofollow

В некоторых, часто неэтичных, случаях его использование очень удобно (например, при обмене ссылками и скрытии страницы линкопомойки).

5. Ручное удаление из панели для вебмастеров

Наконец последний, и самый быстрый способ удаления страниц из индекса – это их ручное удаление.

Яндекс: http://webmaster.yandex.ru/delurl.xmlGoogle: https://www.google.com/webmasters/tools/

Единственное условие для ручного удаления страниц – они должны быть закрыты от робота предыдущими методами (в robots.txt, мета-теге или 404-ой ошибкой). Замечено, что Google обрабатывает запросы на удаление в течение нескольких часов, в Яндексе придётся подождать следующего апдейта. Используйте этот метод, если вам надо срочно удалить небольшое количество страниц из поиска.

Полезные ссылки по теме

5 советов по созданию практичной 404 страницыУлучшение юзабилити 404-ых страниц уменьшает показатель отказов. В статье приведены несколько советов, которые помогут сделать 404-ую страницу более эффективной.

Всё о файле robots.txtДля тех, кто ещё не сталкивался с настройкой файла robots.txt, данный ресурс будет полезной отправной точкой. Здесь собрано много примеров и другой полезной информации.

Яндекс: Использование robots.txtОфициальные примеры использования файла robots.txt от Яндекса. Также там представлены учитываемые Яндексом директивы и другие советы.

Использование HTTP заголовков X-Robots для скрытого удаления линкопомоекПример использования HTTP-заголовка X-Robots-Tag в Apache.

devaka.ru

Как удалить нежелательную информацию из результатов поиска Google

Надежда Светлова, 24 мая 2013 , 43759

Если Вы, уважаемый читатель, всерьёз оберегаете доброе имя своего бренда в социальных сетях ― попробуйте ради интереса «погуглить» свою компанию. Обратите внимание не только на общую выдачу, но и на раздел «Картинки».

Если всё идёт хорошо ― первые 30 результатов будут о Вашем проекте, причём все как один ― положительные и укрепляющие Ваши позиции.

Но, к сожалению, довольно часто в выдачу пролезают результаты, которые хотелось бы удалить. Обычно это что-то отрицательное или не имеющее отношения к Вашему бренду или информация, о которой вы не хотели бы сообщать (например, сведения о крупных сделках или о взаимодействии с политическими движениями). Такие результаты поиска совершенно не работают на укрепление позиций Вашего бренда.

Как избавиться от нежелательной позиции в выдаче? Можно миллион раз кликнуть по ссылке, которая идёт следующей ― и, возможно, Google поймёт свою ошибку, снизив рейтинг того URL, который вы не хотите видеть. Но это малоэффективный и сильно трудозатратный способ. Вы также можете выложить побольше свежего и актуального контента в социальных сетях, но придётся очень потрудиться, чтобы снизить рейтинг «вредной» страницы. К тому же это займёт много времени. Можете нанять хорошего маркетолога, чтобы он создавал нужный контент, но будьте готовы раскошелиться. Так как же без лишних затрат удалить негативную для вашего имиджа страницу из кэша поисковой системы Google?

Есть несколько других ― более простых ― способов избавиться от нежелательных результатов выдачи Google.

1. Как удалить кэшированную копию страницы

Google позволяет любому пользователю сделать запрос на удаление копии страницы, сохранённой в кэше. Допустим, Вы обновили какую-либо информацию на сайте ― добавили отзыв клиента или заменили картинку, ― но старая страница так и «висит» в результатах поиска. Удалить ненужную копию очень легко, нужно только следовать инструкции. Обратите внимание, что эта процедура применима только к HTML-страницам. Другие файлы (в формате DOC или PDF) в случае изменений нужно полностью удалять с веб-сайта.

Итак:

Шаг 1. Зайдите на страницу Google «Инструменты для веб-мастеров. Удаление содержания».Шаг 2. Нажмите «Создать новый запрос на удаление».Шаг 3. Введите URL страницы, которая была изменена (не ссылку на страницу выдачи и не ссылку на кэшированную страницу!) Кроме того, URL чувствителен к регистру, поэтому используйте в точности те же символы, что и на сайте.Шаг 4. Нажмите «Продолжить».Шаг 5. Выберите причину «Содержание страницы изменилось, поэтому версия, сохранённая в кэше Google, является устаревшей».Шаг 6. Введите слово, которое присутствует на кэшированной странице и которого нет в текущей версии. Это нужно для того, чтобы Google понял, что страница была изменена. Лучше написать одно слово, а не фразу. Не нужно описывать удалённый контент или объяснять сделанные изменения: просто дайте одно слово, которое было в устаревшей версии страницы. Например, если на странице было указано ваше имя, а затем оно было удалено, не нужно писать «убрали моё имя». Просто введите его («Василий»), поскольку оно содержится в кэшированной копии.Шаг 7. Нажмите «Удалить версию страницы, сохранённую в кэше».

2. Как удалить контент с чужого сайта из результатов поиска Google

Google позволяет удалять контент в трёх случаях: если этого требует закон, либо если дело касается личной информации или устаревших данных.

● Если вы хотите сообщить, что какой-либо контент должен быть удалён из Google из-за нарушения закона, зайдите на страницу «Удаление содержания из Google». Выберите продукт (например, «Веб-поиск») и тему вашего запроса (нарушение авторских прав, незаконное использование товарного знака и др.)

● Если вы обеспокоены появлением ваших личных данных в результатах поиска Google, откройте страницу «Проблемы с веб-поиском» и выберите подходящие варианты. Вам будут даны рекомендации по решению Ваших вопросов.

● Если какие-либо картинки, страницы или сайты были удалены, но всё ещё появляются в поисковой выдаче, это может означать, что Google ещё не проиндексировал сайт и не узнал об изменениях. В ожидании обновления баз Google можно воспользоваться «инструментом для веб-мастеров «Удаление содержания»». Механизм запроса тот же, что и при удалении кэшированной копии (как в пункте 1), только в качестве причины выбирайте «Страница была удалена из поисковых систем или доступ поисковых роботов к ней был заблокирован».

3. Как удалить картинку из результатов поиска Google

Чтобы запросить удаление изображения из результатов поиска, вам понадобится точный URL картинки, которую вы хотите удалить.

Шаг 1. Кликните по картинке на странице результатов поиска.Шаг 2. Кликните «Открыть в полном размере» и скопируйте адрес ссылки.Шаг 3. Вставьте ссылку в текстовый файл, чтобы она была у вас под рукой, когда будете использовать какой-либо инструмент для удаления.

«Google.Картинки» ― это не источник изображений как таковой, а система их поиска. Поэтому лучший способ исключить картинку из выдачи ― это удалить её с сайта, на котором она размещена. Если вы владелец сайта, то можете самостоятельно удалить изображения или использовать файл robots.txt, чтобы заблокировать индексацию поисковыми роботами Google. Если изображение размещено на чужом сайте, вы можете связаться с его веб-мастерами и попросить об удалении контента. Когда изменения будут произведены, при следующей индексации картинка исчезнет из результатов поиска.

В отдельных случаях, к примеру, если использование изображения нарушает ваши авторские права, вы можете отправить запрос на удаление контента в «проблемах с веб-поиском» и «инструментом для веб-мастеров», описанных выше.

P.S. Чтобы обезопасить себя от воровства текстов, воспользуйтесь нашими советами по защите контента ― страховкой от лишних разбирательств с недобросовестными сайтами.

Текст подготовлен по мотивам публикации: «Your Brand: How To Get Rid Of Unwanted Search Engine Results» (англ.)

www.optimism.ru

Не удаляются страницы из поиска Яндекса. Что делать? |

Довольно часто вебмастера сталкиваются с необходимостью удалить какие-то страницы сайта или целиком весь сайт из поиска Яндекса. Дело, по идее, простое, но иногда оно оборачивается так, что на команду «Удалить» Яндекс отвечает – «Нет оснований для удаления…» Однако, вебмастеру виднее, что ему необходимо на сайте, а что — нет. В этой статье мы разберем, что надо делать, чтобы все-таки удалить страницу из поиска.

Но сначала немного о стандартной процедуре ликвидации страниц в поиске. (Этот параграф специально для новичков).

Как удалить страницы из поиска Яндекса: стандартная процедура.

Для успешного удаления ненужных страниц из поиска Яндекса, необходимо соблюсти два непременных условия:

— Вы и Ваш сайт должны быть зарегистрированы в сервисе «Яндекс. Вебмастер»,

— У Вас на сайте должен быть файл robots.txt.

Заходите на Яндекс. Вебмастер во вкладку «Мои сайты» и в правом сайдбаре видите строчку «Удалить URL»:

Кликаете по этой ссылке и оказываетесь на странице «Удалить URL»:

Вообще-то, Яндекс предполагает, что Вы занесете адрес ненужной страницы в этой форме, нажмете кнопку «Удалить» и страница будет удалена, однако не все так просто. Иначе я не писал бы эту статью. Проблема в том, что иногда такой путь срабатывает, но чаще – нет. Соотношение примерно 1:5 (по крайней мере, у меня), а это не очень устраивает.

Как узнать точный URL ненужной страницы? А если их несколько? Для этого надо в поиске Яндекса написать «host:www.novichkoff.ru» (ясно, что писать надо без кавычек и указывать адрес своего сайта). У вас откроется вкладка со всеми проиндексированными страницами.

Что надо делать, если количество таких страниц явно больше, чем имеется на сайте? Можно ничего не делать: если они запрещены к индексации в файле robots.txt, Яндекс их и сам удалит. Но удаляет их он крайне медленно, может уйти несколько месяцев (у меня уже 10 месяцев удаляет и то, удалены не все). Если у Вас есть причины – опасение попасть под пессимизацию Яндекса (или даже под бан), случайно попала в поиск страница с закрытыми данными, да хоть из любви к искусству – надо удалять вручную.

Для этого надо щелкнуть по названию страницы в выдаче Яндекса (вот в этом самом открывшемся перечне страниц Вашего сайта), страница откроется в новой вкладке Вашего браузера и адресном окне надо скопировать URL страницы. Для этого поставьте курсор в окошко браузера, кликните ПРАВОЙ кнопкой мыши и выберите «Копировать».

Потом открываете вкладку с Яндекс. Вебмастером, наводите курсор на окошко формы «Удалить URL», опять кликаете ПРАВОЙ мышью и выбираете «Вставить». В конце Ваших манипуляций нажимаете кнопку «Удалить». НО! Вполне вероятно, что Вы увидите такое сообщение:

Сообщение написано маленьким шрифтом, поэтому я его продублирую: «Нет оснований для удаления. Сервер не возвращает код 404, индексирование не запрещено ни в robots.txt, ни метатэгом noindex».

Появились затруднения

Получив несколько таких сообщений, я глубоко задумался. Как же так:

  1. одна страница убрана вообще, сервер явно должен выдавать ошибку 404 («Страница не найдена»), бот Google это сообщение видит, а — Яндекс нет?
  2. индексирование рубрик запрещено и плагином, и файлом robots.txt, этот файл бот Google видит, а Яндекс – нет?
  3. запрещение индексации страниц касается всех ботов, какие только есть на свете, в том числе и Яндекса.  Об этом прямо говорит самая первая строчка в файле — User-agent: * Сам Яндекс совершенно недвусмысленно говорит об этом свой справке.
  4. Скажите мне на милость, чем отличаются эти две строчки:

Disallow: /category/*/*

Disallow: /tag/*

Первая строчка касается запрета на индексацию рубрик (category), вторая – меток (tag). Первую почему-то Яндекс учитывает при выполнении команды «Удалить», а вторую – полностью игнорирует. Количество слэшей и звездочек пусть Вас не смущает, я перепробовал самые разные варианты. Но нашел-таки нужное решение. Все-таки метод «научного тыка» — великая вещь!

Рекомендую  сделать, чтобы удалить ненужные страницы

Не буду Вас мучить, а сразу дам четкие и ясные (красиво сказал!) инструкции – что надо сделать. В файле robots.txt надо дописать:

User-agent: Yandex

Disallow: /tag/

 

И вот она, любезная нашему сердцу, строчка – «URL  добавлен в очередь на удаление»:

 

Сколько Яндекс будет удалять ненужную страницу? Об этом только Господь Бог и Яндекс знают. У Google на удаление уходит 4-6 часов, у Яндекса – неизвестно. По крайней мере, так у них написано – «по мере обхода роботом». Т.е.когда робот Яндекса соберется к Вам на сайт, тогда и удалит.

И в конце несколько кратеньких советов:

1. строчек с запрещением (Disallow:) писать можно столько, сколько нужно. Главное — соблюсти синтаксис. Особое внимание на пустячок: после двоеточия должен быть пробел.

2. Местоположение этого блока из двух (или более) строчек в файле robots.txt роли не играет.

3. Если у Вас есть первая строчка — User-agent: Yandex – и ниже написаны еще какие-строчки (до пустой строки), то лучше написать запрет (Disallow:) сразу после этой строки. Робот Яндекса выполняет команды файла robots.txt по очереди, сверху вниз.

4. Учтите, что строчка User-agent: Yandex может встречаться в тексте файла только один раз, вторая такая строчка (и все что к ней относится) будет проигнорирована.

5. Примеры строчек:

— Disallow: /page/* (запрет на индексацию страниц архива), точно так же можно писать и другие запреты

— для запрета одной страницы, URL которой вот такой (для примера) http://www.novichkoff.ru/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it,

надо писать все после слэша включительно(слэша, закрывающего название сайта):

/normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it.

В результате должно получиться так:

Disallow:  /normalnye-geroi-vsegda-idut-v-obxod.html/we-can-do-it

6. Внеся изменения в файл robots.txt, не поленитесь сходить по ссылке «Анализ robots.txt» (расположена там же, где и ссылка «Удалить URL»,т.е. на странице справа). Там надо написать адрес Вашего сайта в графе «Имя хоста» и нажать кнопку «Загрузить robots.txt с сайта». В нижнем окне появится Ваш измененный файл, надо нажать кнопку «Проверить». Если что-то будет неправильно, Яндекс это напишет. Исправляете и повторяете процедуру.

7. Почитайте справку Яндекса о файле robots.txt. Не сразу, но поймете.

...Сообщите об этой статье своим друзьям: Благодарю Вас! А еще Вы можете подписаться на рассылку и первым получать самые свежие статьи.

Удачи!

Автор: Сергей Ваулин

www.novichkoff.ru