Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, как заблокировать поисковику доступ к тестовому серверу.
Обычно для блокировки индексации тестовых сайтов создаётся файл robots.txt, который запрещает поисковикам сканировать страницы ресурса.
Джон Мюллер предложил более эффективное решение. В частности, он рекомендует использовать аутентификацию на стороне сервера.
«В идеале нужно обеспечить server-side аутентификацию на сервере, чтобы пользователи, включая Googlebot, не могли видеть контент. Это можно сделать на основе IP-адреса, с помощью cookie или обычной аутентификации на сервере… Мне кажется, что это наилучший подход для тестовых серверов», - сказал Мюллер.
Он также напомнил, что если на страницу есть ссылки с других ресурсов, то Google может переходить по ним и сканировать содержимое, несмотря на запрет в файле robots.txt.
Прослушать ответ Мюллера можно, начиная с отметки 42:30 на видеозаписи ниже:
