Джон Мюллер: как заблокировать Google доступ к тестовому сайту

870

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер рассказал, как заблокировать поисковику доступ к тестовому серверу.

Обычно для блокировки индексации тестовых сайтов создаётся файл robots.txt, который запрещает поисковикам сканировать страницы ресурса.

Джон Мюллер предложил более эффективное решение. В частности, он рекомендует использовать аутентификацию на стороне сервера.

«В идеале нужно обеспечить server-side аутентификацию на сервере, чтобы пользователи, включая Googlebot, не могли видеть контент. Это можно сделать на основе IP-адреса, с помощью cookie или обычной аутентификации на сервере… Мне кажется, что это наилучший подход для тестовых серверов», — сказал Мюллер.

Он также напомнил, что если на страницу есть ссылки с других ресурсов, то Google может переходить по ним и сканировать содержимое, несмотря на запрет в файле robots.txt.

Прослушать ответ Мюллера можно, начиная с отметки 42:30 на видеозаписи ниже:

ИСТОЧНИКSearch Engine Journal
Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.

Прокомментировать

avatar
  Подписаться  
Уведомление о