Google хочет сделать Robots Exclusion Protocol официальным стандартом

Google заявил, что хочет сделать Robots Exclusion Protocol (REP) официальным стандартом. Для этого компания вместе с создателем протокола, вебмастерами и другими поисковыми системами задокументировала, как REP используется в современном вебе, и подала проект спецификации на рассмотрение в Инженерный совет интернета (англ. Internet Engineering Task Force, IETF).

Протокол исключений для роботов был разработан голландским инженером Мартейном Костером (Martijn Koster) в 1994 году. Он позволяет ограничивать поисковым роботам доступ к содержимому на сервере при помощи текстового файла robots.txt, находящегося в корне сайта.

За 25 лет своего существования REP стал стандартом, но де-факто. А это значит, что разработчики могут интерпретировать его по-разному. Кроме того, протокол никогда не обновлялся, чтобы соответствовать современным реалиям. При этом статус неофициального стандарта затрудняет правильное написание правил.

Однако в скором времени REP может, наконец, обрести официальный статус:

Стоит отметить, что в техническом плане после перехода REP в разряд официальных стандартов для вебмастеров ничего не изменится:

В спецификации Google также обновил расширенную форму Бэкуса-Наура, чтобы лучше определить синтаксис robots.txt.

preview УФАС возбудило дело в отношении Яндекса за рекламу брокера без лицензии

УФАС возбудило дело в отношении Яндекса за рекламу брокера без лицензии

Московское УФАС 3 июля рассмотрит дело в отношении Яндекса за рекламу брокера InstaForex, у которого отсутствует лицензия ЦБ РФ
preview Частые SEO-ошибки на сайтах digital-агентств – исследование

Частые SEO-ошибки на сайтах digital-агентств – исследование

Компания Reboot Online опросила 30 ведущих британских digital-агентств и выяснила, какие ошибки они допускают в поисковой оптимизации своих ресурсов
preview Джон Мюллер о сайтах, сдающих свои поддомены в аренду

Джон Мюллер о сайтах, сдающих свои поддомены в аренду

Во время последней видеовстречи для вебмастеров сотрудник Google Джон Мюллер ответил на вопрос о сайтах, которые сдают в аренду свои поддомены, чтобы другие компании могли...
preview Яндекс.Диск научился составлять фотоподборки с помощью компьютерного зрения

Яндекс.Диск научился составлять фотоподборки с помощью компьютерного зрения

Яндекс.Диск научился использовать компьютерное зрение для составления фотоподборок — коллекций фотографий, сделанных пользователем в прошлом
preview Google запустил официальный сайт для ОС Fuchsia

Google запустил официальный сайт для ОС Fuchsia

Google запустил официальный сайт с документацией по Fuchsia – новой операционной системе, над которой компания работает последние несколько лет
preview В мобильном Дзене появились ленты по интересам

В мобильном Дзене появились ленты по интересам

В мобильном приложении Яндекс.Дзен появились ленты по интересам...