Публикация вышла под названием: «Обновление (март 2016) текущего состояния и рекомендаций для JavaScript-сайтов и Progressive Web Apps в поиске Google» и включает следующие пункты:
1) Не занимайтесь клоакингом, пытаясь обмануть Googlebot. Используйте техники feature detection и progressive enhancement, чтобы сделать содержимое сайта доступным для всех пользователей. Избегайте редиректов на страницы, которые не поддерживаются браузером. Если необходимо, используйте polyfill – скрипты, частично эмулирующие спецификации HTML5 или CSS3, позволяющие браузеру правильно отобразить контент. В настоящее время Googlebot не поддерживает такие функции и сценарии, как Service Workers, Fetch API, Promises и requestAnimationFrame.
2) Используйте атрибут rel=canonical для указания канонического URL, если контент размещён на нескольких URL-ах.
3) Избегайте использования устаревшей схемы сканирования AJAX на новых сайтах. Не забывайте удалять теги "meta fragment" из HTML-копии AJAX-страниц. Не используйте тег "meta fragment" на страницах с тегом "escaped fragment".
4) Избегайте использования "#" в URL-ах. Googlebot редко индексирует такие адреса. «Стандартная» структура адреса страницы выглядит так: путь/имя файла/параметры запроса.
5) Используйте Сканер Google для сайтов в Search Console, чтобы проверить, как Googlebot видит страницы. Помните, что этот инструмент не поддерживает URL, содержащие символы "#!" или "#".
6) Убедитесь, что все запрашиваемые ресурсы не закрыты от индексации в файле robots.txt (включая JavaScript-файлы/фреймворки, ответы сервера, сторонние API). Сканер Google для сайтов покажет список заблокированных ресурсов. Если ресурсы автоматически заблокированы в robots.txt (например, сторонние API) или временно недоступны по другой причине, нужно убедиться, что код страницы исполняется корректно.
7) Ограничьте количество встроенных ресурсов, запрашиваемых, чтобы отобразить страницу. В частности – число JavaScript-файлов и ответов сервера. Большое количество запрашиваемых URL может привести к истечению срока ожидания ответа сервера или отображению страницы, на которой эти элементы будут недоступны. К примеру, некоторые JavaScript-файлы могут не загрузиться.
8) Google поддерживает использование JavaScript для предоставления тайтлов, метаописаний и метатегов robots, структурированных и других метаданных. При использовании AMP, страница в формате JavaScript должна быть статичной, однако при создании ассоциированной с ней веб-страницы могут использоваться JS/PWA-техники. Тег "lastmod" в файле Sitemap сообщит поисковому роботу, когда в последний раз обновлялась страница.
9) Помните, что другие поисковые системы и веб-сервисы могут вообще не поддерживать JavaScript или же использовать другие подходы при индексации таких страниц.
Завершая данный перечень, Джон Мюллер подчеркнул, что ни одна из этих рекомендаций не является чем-то совершенно новым для специалистов. При этом они останутся актуальными и в обозримом будущем.
Напомним, что в октябре 2015 года Google отозвал рекомендации по сканированию AJAX от 2009 года. Руководство было призвано сделать AJAX-страницы видимыми для поисковых роботов. На тот момент системы Google не могли распознавать и отображать страницы, использующие JavaScript. Теперь эта ситуация изменилась. Чтобы отобразить эти изменения, компания обновила Рекомендации для вебмастеров.