Разработчики поисковой системы Google обновили руководство для веб-мастеров, чтобы специально отметить, что блокирование CSS или JavaScript файлов может иметь негативное влияние на индексацию и ранжирование в Google.
Специалист отдела качества поиска Google по работе с веб-мастерами Пьер Фар (Pierre Far) заявил, что «новое руководство указывает, что вы должны разрешить Googlebot доступ к JavaScript, CSS и файлам изображений, которые используют ваши страницы для оптимальной обработки и индексирования». Блокирование доступа Googlebot к этим файлам вредит индексированию контента и может привести к неоптимальному ранжированию.
Что именно изменилось в руководстве?
До:
Используйте текстовый браузер, например Lynx, для проверки сайта, потому что большинство краулеров поисковых систем видят сайт точно так же, как Lynx. Если функции, такие как JavaScript, cookies, ID сессий, фреймы, DHTML или Flash удерживают вас от просмотра всего сайта с помощью текстового браузера, значит, у поисковых краулеров могут возникнуть проблемы с его сканированием.
После:
Чтобы помочь Google в полной мере понять контент вашего сайта, откройте все активы вашего сайта, такие как CSS и файлы JavaScript, для сканирования. Система индексации Google обрабатывает веб-страницы, используя HTML страниц и активов, таких как изображения, CSS и Javascript файлы. Чтобы увидеть страницу активов, которые робот Google не может обрабатывать и отлаживать директивы в файле robots.txt, используйте Fetch as Google и инструменты тестирования robots.txt в Webmaster Tools.
Специалист по качеству поиска Google Андрей Липатцев на ежегодной конференции CyberMarketing-2014 сообщил, что веб-мастерам следует открыть поисковым роботам доступ к ресурсам. На этой стадии важно проверить, не закрыт ли доступ к сайту роботу Googlebot. Важно, чтобы любой Googlebot видел сайт именно так, как видит его пользователь, в том числе тот, который проверяет мобильную версию. Закрывая доступ специально, веб-мастера наказывают сами себя.
Более подробная информация о данном обновлении доступна в блоге Google.
В мае 2014 года представители Google официально сообщили о запуске инструмента, который позволит веб-мастерам просматривать страницы сайтов, содержащие изображения, файлы CSS и JavaScrip, как Googlebot. Новая возможность доступна в сервисе «Инструменты для веб-мастеров» в одной из вкладок раздела «Просмотреть как Googlebot».