Команда поиска Яндекса сообщила о начале использования индексирующим роботом JavaScripts и CSS при обходе некоторых ресурсов. Это позволит поиску получить больше данных о страницах сайтов и увидеть содержимое таких сайтов в том виде, в каком оно отображается в современном браузере.
Такой способ индексации дает возможность оценить удобство интерфейса, получить контент, который ранее был недоступен роботу, и сравнить эти данные с уже используемыми при ранжировании в поиске. Если эти данные позволят предоставить пользователям поиска лучший ответ по какому-либо запросу, то в ранжировании будет использована именно версия, полученная с использованием JavaScripts и CSS.
Как сообщается в официальном блоге для вебмастеров, в настоящий момент индексация с использованием JavaScripts и CSS происходит лишь для небольшой части сайтов и отдельных страниц, известных индексирующему роботу. Однако постепенно технология будет применена ко всем известным поиску сайтам и объем индексируемых таким образом ресурсов будет расти.
Команда поиска Яндекса настоятельно рекомендуется всем владельцам и разработчикам сайтов, которые ранее закрывали файлы с JavaScripts и CSS для индексирующего робота, открыть их в robots.txt. Кроме того, обязательно стоит позаботиться о том, чтобы при обращении робота за данными файлами не возникло проблем с нагрузкой на сервер сайта.
Напомним, что в июле этого года Google также массово разослал в Search Console уведомления вебмастерам о том, что поисковому роботу не доступны файлы CSS и JS на сайте. В конце месяца инженер отдела качества поиска Google Гэри Илш (Gary Illyes) поделился способом быстрого устранения этой проблемы для того, чтобы открыть нужные файлы для сканирования GoogleBot.