Новые стандарты для директивы Allow файла robots.txt

Команда Яндекс.Поиска сообщила о новых правилах обработки директивы Allow текстового файла robots.txt, разрешающей доступ робота к некоторым частям сайта или сайту целиком.

Теперь для корректной обработки этой директивы ее необходимо использовать с учетом порядка: если для данной страницы сайта подходит несколько директив, то выбирается первая в порядке появления в выбранном User-agent блоке.

Через несколько недель Яндекс планирует внедрить изменение в обработке поисковым роботом директивы allow и отказаться от учета порядка. Директивы будут сортироваться по длине префикса URL’а (от меньшего к большему) и применяться последовательно. Такое изменение позволит соответствовать международным принципам применения директивы, чтобы и у российских, и у зарубежных вебмастеров не возникало трудностей при составлении файла robots.txt для разных поисковых систем.

Всем, на чьих сайтах в файлах robots.txt используются директивы allow и disallow, настоятельно рекомендуется проверить их на соответствие новым стандартам.

Олег Сахно (ИнтерЛабс): «К сожалению, существует большой разрыв между тем, каким хотят получить robots.txt разработчики Яндекса, и тем, что отдают вебмастера. Думаю, последовательность команд — это то, о чём задумываются в последнюю очередь. Судя по нашим исследованиям, сам файл присутствует только чуть более, чем на половине сайтов в Рунете. Написание директив Disallow и user-agent вызывает сложности. Возможно, Яндексу стоит добавить уведомление в панель для вебмастеров в том случае, когда количество страниц в индексе значительно снизилось, по причине запрета индексации в robots.txt».

В Яндекс.Метрике появился полноэкранный режим карты кликов

Команда Яндекс.Метрики сообщила о запуске полноэкранного режима для отображения карты кликов

YouTube готовится к запуску телеканалов

Компания Google преобразует видеосайт YouTube в нечно, больше напоминающее традиционное телевидение

Bing анонсировал ряд нововведений

На прошлой неделе поисковая система Bing запустила сразу несколько существенных нововведений

Google запускает «облачное хранилище»

Как сообщается в техноблоге TechCrunch, в ближайшие дни Google может запустить инструмент для онлайн-хранения документов на различных устройствах под названием Google Drive...

Ресурсы Яндекса в России ежедневно посещают 14,5 млн пользователей

Как сообщает газета «Известия» со ссылкой на исследование TNS Gallup Web-Index, за 2011 год общее количество пользователей глобальной сети увеличилось с 32 млн человек до 34...

Google занимает 66% поискового рынка США

Как сообщает западное издание AdAgeDigital, ссылаясь на данные агентств eMarketer и comScore, во втором квартале 2011 года общая доля прибыли Google увеличилась на 36% по...