Нередки случаи, когда Google индексирует промежуточные сайты, используемые для тестирования и отладки процессов. Сотрудник поиска Джон Мюллер рассказал, что делать в такой ситуации, и как её избежать в будущем.
Удаление промежуточного сайта из Google
Самый быстрый способ удалить отладочный сайт из поиска – через Search Console. Для этого нужно подтвердить право собственности на этот сайт (по иронии судьбы, это значит, что сайт снова придётся сделать доступным для поисковых систем). Потом нужно будет отправить запрос на удаление сайта, что приведёт к блокировке имени хоста на срок до 90 дней. В этот период вы сможете разработать и внедрить общий план по блокировке промежуточного сайта в поиске.
Блокировка от индексации
В случае промежуточных сайтов Джон Мюллер рекомендует блокировать доступ к ним на уровне сервера при помощи защиты каталогов сервера паролем или создания «белого списка» IP-адресов (IP-адреса могут меняться, и это блокирует использование инструментов из дома и т.п. Поэтому нужно действовать осторожно и избегать «чёрных списков»).
Что касается альтернатив, то Мюллеру они не нравятся. По его мнению, блокировка страницы от индексации с помощью атрибута Noindex означает, что она должна быть доступна (для конкурентов, скраперов и т.д.). При использовании файла robots.txt нужно не забыть поменять его конфигурацию после перехода от промежуточного сайта к публичному (ещё один источник распространённых проблем). Кроме того, URL-адреса, заблокированные в файле robots.txt, могут индексироваться без их содержимого.
Подводя итог, Мюллер отметил, что при отказе от использования инструмента для удаления URL повторное сканирование URL может занять несколько месяцев. Поэтому при добавлении каких-либо блокировок на уровне страницы полная обработка всех URL может занять от полугода и больше. Отправка запроса на временное удаление страницы даёт достаточно времени на доработку сайта. Кроме того, при необходимости можно отправить повторный запрос и продлить этот срок.