Если искать в Google «offers» (предложения), социальный сервис скидок Google Offers окажется на первом месте в поисковой выдаче. При этом можно увидеть, что Google заблокировал страницу от сканирования в файле robots.txt и выдает информацию о недоступности описания веб-страницы.
При нажатии на ссылку осуществляется переход на страницу, которая технически возвращает 404 код статуса. Соответственно, Google должен удалить страницу из результатов поиска.
Можно предположить, что Google сохраняет страницу на срок действия предложений, основанных на ссылках с этим адресом. Таким образом, старые ссылки и репутация сайта могут по-прежнему хранить доступ к контенту, даже если он изменился и был заблокирован в файле robots.txt. Краулеры Google будут продолжать попытки получить доступ к адресу, чтобы проверить изменение статуса 404 и его включение после этих изменений.
Для полного блокирования страницы от индексирования Google страницы 404 должно быть достаточно. Если доступ запрещен в файле robots.txt и Google не может сканировать страницу, чтобы увидеть 404 код, то отсутствие страницы в результатах поиска основано исключительно на ссылке.
Инструмент для удаления страниц есть в Webmaster Tools.
Сервис Google Offers начал свою работу в тестовом режиме в июне 2011. В рамках сервиса пользователи могли ежедневно получить 50% и более скидки в местных магазинах и заведениях. В сентябре 2013 сервис был интегрирован с платежным кошельком и в качестве самостоятельного продукта уже не доступен.