Google хочет сделать Robots Exclusion Protocol официальным стандартом

578

Google заявил, что хочет сделать Robots Exclusion Protocol (REP) официальным стандартом. Для этого компания вместе с создателем протокола, вебмастерами и другими поисковыми системами задокументировала, как REP используется в современном вебе, и подала проект спецификации на рассмотрение в Инженерный совет интернета (англ. Internet Engineering Task Force, IETF).

Протокол исключений для роботов был разработан голландским инженером Мартейном Костером (Martijn Koster) в 1994 году. Он позволяет ограничивать поисковым роботам доступ к содержимому на сервере при помощи текстового файла robots.txt, находящегося в корне сайта.

За 25 лет своего существования REP стал стандартом, но де-факто. А это значит, что разработчики могут интерпретировать его по-разному. Кроме того, протокол никогда не обновлялся, чтобы соответствовать современным реалиям. При этом статус неофициального стандарта затрудняет правильное написание правил.

Однако в скором времени REP может, наконец, обрести официальный статус:

Стоит отметить, что в техническом плане после перехода REP в разряд официальных стандартов для вебмастеров ничего не изменится:

В спецификации Google также обновил расширенную форму Бэкуса-Наура, чтобы лучше определить синтаксис robots.txt.

Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.

1
Прокомментировать

avatar
1 Цепочка комментария
0 Ответы по цепочке
1 Последователи
 
Популярнейший комментарий
Цепочка актуального комментария
1 Авторы комментариев
Alex Rott Авторы недавних комментариев
  Подписаться  
новее старее большинство голосов
Уведомление о
Alex Rott
Участник

Да простит меня Google, поисковые системы парсят без ограничений то, куда бы не зашел обычный человек. неужели бот не может обойтись без правил robots ?