Джон Мюллер рассказал, как удалить отладочный сайт из Google

Нередки случаи, когда Google индексирует промежуточные сайты, используемые для тестирования и отладки процессов. Сотрудник поиска Джон Мюллер рассказал, что делать в такой ситуации, и как её избежать в будущем.

Удаление промежуточного сайта из Google

Самый быстрый способ удалить отладочный сайт из поиска – через Search Console. Для этого нужно подтвердить право собственности на этот сайт (по иронии судьбы, это значит, что сайт снова придётся сделать доступным для поисковых систем). Потом нужно будет отправить запрос на удаление сайта, что приведёт к блокировке имени хоста на срок до 90 дней. В этот период вы сможете разработать и внедрить общий план по блокировке промежуточного сайта в поиске.

Блокировка от индексации

В случае промежуточных сайтов Джон Мюллер рекомендует блокировать доступ к ним на уровне сервера при помощи защиты каталогов сервера паролем или создания «белого списка» IP-адресов (IP-адреса могут меняться, и это блокирует использование инструментов из дома и т.п. Поэтому нужно действовать осторожно и избегать «чёрных списков»).

Что касается альтернатив, то Мюллеру они не нравятся. По его мнению, блокировка страницы от индексации с помощью атрибута Noindex означает, что она должна быть доступна (для конкурентов, скраперов и т.д.). При использовании файла robots.txt нужно не забыть поменять его конфигурацию после перехода от промежуточного сайта к публичному (ещё один источник распространённых проблем). Кроме того, URL-адреса, заблокированные в файле robots.txt, могут индексироваться без их содержимого.

Подводя итог, Мюллер отметил, что при отказе от использования инструмента для удаления URL повторное сканирование URL может занять несколько месяцев. Поэтому при добавлении каких-либо блокировок на уровне страницы полная обработка всех URL может занять от полугода и больше. Отправка запроса на временное удаление страницы даёт достаточно времени на доработку сайта. Кроме того, при необходимости можно отправить повторный запрос и продлить этот срок.

preview В Google Docs появились новые функции для совместной работы

В Google Docs появились новые функции для совместной работы

Google обновил приложения Google Документы, Таблицы и Презентации, добавив в них ряд новых функций. Большинство из них сосредоточены вокруг совместной работы
preview Google купил белорусский стартап AIMatter

Google купил белорусский стартап AIMatter

Google приобрёл белорусский стартап AIMatter, специализирующийся на разработках в области искусственного интеллекта. Об этом сообщается на сайте проекта
preview Google назвал три причины, почему Rich Cards могут не показываться в поиске

Google назвал три причины, почему Rich Cards могут не показываться в поиске

На днях сотрудник Google Джон Мюллер рассказал в Twitter, почему у сайта могут не отображаться расширенные карточки (или сниппеты) в результатах поиска
preview Аудитория Яндекс.Новостей в среднем составляет 6 млн посетителей в сутки

Аудитория Яндекс.Новостей в среднем составляет 6 млн посетителей в сутки

Среднесуточная аудитория сервиса Яндекс новости составляет 6 миллионов посетителей
preview Google добавил в выдачу инструменты Mobile-Friendly Test и AMP Test

Google добавил в выдачу инструменты Mobile-Friendly Test и AMP Test

Англоязычные пользователи заметили, что Google добавил в выдачу инструменты Mobile-Friendly Test и AMP Test
preview В текстах объявлений Директа появились дополнительные символы и второй заголовок

В текстах объявлений Директа появились дополнительные символы и второй заголовок

Команда Яндекс.Директа сообщила о появлении возможности использования в объявлении двух заголовков - длиной до 35 и до 30 символов - а также писать тексты объявлений длиной до...