Индексирующий робот Яндекса начал использовать JavaScripts и CSS

Команда поиска Яндекса сообщила о начале использования индексирующим роботом JavaScripts и CSS при обходе некоторых ресурсов. Это позволит поиску получить больше данных о страницах сайтов и увидеть содержимое таких сайтов в том виде, в каком оно отображается в современном браузере.

Такой способ индексации дает возможность оценить удобство интерфейса, получить контент, который ранее был недоступен роботу, и сравнить эти данные с уже используемыми при ранжировании в поиске. Если эти данные позволят предоставить пользователям поиска лучший ответ по какому-либо запросу, то в ранжировании будет использована именно версия, полученная с использованием JavaScripts и CSS.

Как сообщается в официальном блоге для вебмастеров, в настоящий момент индексация с использованием JavaScripts и CSS происходит лишь для небольшой части сайтов и отдельных страниц, известных индексирующему роботу. Однако постепенно технология будет применена ко всем известным поиску сайтам и объем индексируемых таким образом ресурсов будет расти.

Команда поиска Яндекса настоятельно рекомендуется всем владельцам и разработчикам сайтов, которые ранее закрывали файлы с JavaScripts и CSS для индексирующего робота, открыть их в robots.txt. Кроме того, обязательно стоит позаботиться о том, чтобы при обращении робота за данными файлами не возникло проблем с нагрузкой на сервер сайта.

Напомним, что в июле этого года Google также массово разослал в Search Console уведомления вебмастерам о том, что поисковому роботу не доступны файлы CSS и JS на сайте. В конце месяца инженер отдела качества поиска Google Гэри Илш (Gary Illyes) поделился способом быстрого устранения этой проблемы для того, чтобы открыть нужные файлы для сканирования GoogleBot.

Журналист, новостной редактор, работает на сайте с 2009 года. Специализация: интернет-маркетинг, SEO, поисковые системы, обзоры профильных мероприятий, отраслевые новости рунета.
Языки: румынский, испанский.
Кредо: Арфы нет, возьмите бубен.