В рамках секции докладчики исследовали некоторые из наиболее сложных проблем в современном мире отзывчивого дизайна. Они обсудили, как управлять крупными сайтами со сложными базами данных и большим количеством контента; как убедиться, что Google может эффективно сканировать, индексировать и ранжировать все страницы интернет-ресурса. В рамках работы секции были рассмотрены все аспекты, начиная от канонизации, приоритета сканирования, AJAX, HTML5, тегов rel="prev" и rel="next", и заканчивая динамическим управлением URL и пагинацией.
Секцию открыл доклад независимого консультанта Мэтта Стормса (Matt Storms) на тему: «9 советов по бесконечной прокрутке и решению SEO-проблем, связанных с AJAX» (9 Tips for Infinite Scroll and AJAX SEO Issues).
Бесконечная прокрутка на сайте
С помощью этой опции пользователь может бесконечно прокручивать страницу вниз, при этом не достигая её конца.
Такая прокрутка приводит к загрузке большего количества контента, предоставляя пользователям бесконечное количество материала.
В качестве примера, докладчик упомянул несколько известных сайтов, таких как Twitter, Facebook, LinkedIn, Chicago Tribute, LA Times, FindNSave, Pinterest и Google Images.
Разделение контента на части
Нужно разбить контент на фрагменты – части, к которым будет привязана внутренняя перелинковка на странице с бесконечной прокруткой. При этом, важно убедиться, что пользователи имеют возможность найти нужную информацию без необходимости необоснованной прокрутки. Если пользователь будет вынужден слишком долго прокручивать страницу, чтобы найти то, что он ищет, при этом ничего не кликая, вы его потеряете», - отметил докладчик.
Для разделения контента Google предлагает свой способ:
Решение проблем, связанных с JavaScript и Ajax
Докладчик отметил, что основные SEO-проблемы при использовании страниц с бесконечной прокруткой – это JavaScript и Ajax. Для их решения, он предлагает создать структуру URL-ов, которая содержит бесконечную прокрутку. При этом нужно избегать двух вещей:
- использование параметров относительного времени в URL;
- ошибок кодирования при формировании адресов URL.
Время загрузки
Нужно убедиться, что страницы имеют оптимальное время загрузки и не дублируют контент других страниц. Каждая страница должна включать атрибут rel=“next” и rel="prev" внутри тега <head>.
По мнению докладчика, оптимальное время загрузки страницы – 1 мсек.
Метод PushState
Это HTML5-метод, который диктует процесс загрузки. Он укажет всё, начиная от объекта состояния и URL, и заканчивая загрузкой контента в последовательном порядке, как было определено пагинацией.
Метод ReplaceState
Этот метод используется для изменения записи журнала или ответа на поведение пользователя, осуществляющего прокрутку страницы. Он ответит на действия прокрутки и позволит пользователю просмотреть страницы, которые были загружены в истории пагинации.
Тестирование страниц бесконечной прокрутки
Необходимо убедиться, что каждая страница загружается точно и в указанное время.
Создание лучших карт сайта
Здесь докладчик провел аналогию c блоками строительного конструктора.
Этот процесс основан на том, что в отдельных случаях карта сайта собирается из нескольких карт сайта, каждая из которых создана на отдельный тип контента. Каждому типу контента придаются свои параметры частоты обновления контента и параметры индексирования. Эта информация указывается в robots.txt.
Отслеживание ботов, сканирующих сайт
Мэтт Стормс попросил аудиторию ответить, кто использовал New Relic. Использование настраиваемых атрибутов для отслеживания Googlebot, Bingbot и роботов других поисковых систем может быть эффективным. Необходимо выяснить, как поисковые роботы сканируют страницы сайта, и что может быть сделано, чтобы улучшить этот процесс.
Настройка аналитики
Можно выбрать Google Analytics, Adobe Analytics или другой инструмент аналитики среди существующих в отрасли.
Параметры страницы
Необходимо отслеживать параметры страницы. Мэтт Стормс объяснил, что когда Google определяет дублированный контент, такой как вариации, вызванные параметрами URL, он группирует дублированные URL-ы в один кластер. Затем он выберет среди них то, что по его определению является лучшим URL для представления кластера в поисковой выдаче.
Свойства URL-ов в кластере, такие как популярность ссылок, объединены в репрезентативный URL. Этот процесс часто предоставляет пользователям более точные поисковые результаты.
Существуют также продвинутые возможности, которые перед применением на клиентских сайтах нужно протестировать на своих.
Проблемы, связанные со сканированием Googlebot
Что нужно сделать, чтобы роботы не индексировали страницы бесконечной прокрутки с JavaScript-кодом?
Докладчик рассказал, как он справился с проблемой индексирования Googlebot. Он работал над пагинацией и канонизацией.
Что касается пагинации, нужно показать максимум страниц, имеющих смысл. Например, prev, 1, 2, 3, 4, 5…и next. Роботы-пауки смогут увидеть следующую страницу с выключенным Javascript-кодом.
Что касается канонизации, докладчик изменил канонизацию страниц #2, #3 и т.д. Вышеуказанные действия отправят сигнал роботам-паукам, что страница – другая, поощряя их просканировать её.
Недопущение страниц с низким качеством
Для предотвращения рендеринга дублированных страниц, выглядящих как спам, в индексах поисковых систем, спикер и его команда встроили тег "noindex, follow" на каждой из /?page=2/ страниц. После этого им не нужно было волноваться о самой странице, а только о её элементах.
Чёткие сигналы для поисковых систем
Они включают атрибуты canonical; prev& next; noindex, follow.
Время загрузки
Нужно убедиться, что страницы имеют оптимальное время загрузки и не дублируют контент. Докладчик также задал аудитории следующие вопросы:
- Какое идеальное время загрузки страницы?
- У кого из слушателей есть сайты с бесконечной прокруткой?
- Вам нравятся сайты, использующие эту опцию?
- Кажется ли вам, что это – будущее сайтов?
Дополнительные советы
SEO-специалисты не уверены, является ли 301, 404 или 410 лучшим редиректом для сайтов, представляющих продукты. Спикер пояснил:
301 – переадресация со старой страницы на новую страницу;
302 – никогда не должен использоваться;
404 – страница не найдена, но поисковые системы вернуться, чтобы найти её;
410 – серверу в этом случае неизвестно и местоположение альтернативного документа, например, копии.
После применения на клиентских ресурсах данных методик, менее чем за 4 месяца было проиндексировано 2,2 млрд страниц.
Завершая выступление, докладчик отметил, что видит будущее за веб-интерфейсами, построенными на Ajax. В ближайшее время количество таких сайтов будет только увеличиваться.
Примером может служить сайт издания Los Angeles Times. Использование Ajax увеличивает время пребывания пользователей на сайте.
Следующим свой доклад представил Марк Мунро (Mark Munroe), SEO-специалист, SEORadar.
В своем выступлении на тему: «Как избежать самых серьёзных SEO-проблем» (How to Avoid SEO’s Biggest Disasters) он обсудил распространённые проблемы SEO, а также способы их выявления и предупреждения.
1. Выпадение сайта из индекса поисковых систем (Деиндексация)
Симптомы проблем с индексацией:
- Внезапное падение трафика в течение короткого периода времени под воздействием тега "nofollow";
- Наличие проблем с индексацией влияет как на Google, так и на Bing, но необязательно в одно и тоже время;
- Падение индексации.
Когда вы видите внезапное падение трафика за короткий период времени, первое, что нужно проверить, – не выпал ли сайт из индекса поисковых систем, считает докладчик.
Возможно, команда разработчиков забыла убрать теги "noindex/nofollow", когда они запускали новый сайт. Возможно, была изменена структура сайта, и файл robots.txt не был обновлен.
Во-первых, нужно проверить HTML-источник нескольких самых популярных страниц сайта, и, как минимум, одной страницы из каждого уникального шаблона на сайте. Есть ли у них теги "noindex/nofollow"?
Также можно добавить эти теги к ответу HTTP, так что, возможно, понадобиться запустить инструменты разработчика в браузере и посмотреть на запрос и ответ, произведенные из браузера к сайту.
Автоматическая проверка этих параметров немного сложнее, но можно с командой разработчиков создать SEO-код, который произведёт тестирование и подтвердит, что страницы не содержат и не обслуживаются тегами "noindex/nofollow".
Файл robots.txt file тестировать немного легче. Нужно взять его последнюю копию и зайти в Google Webmaster Tools. Можно вставить текущий файл robots.txt в тестировщик Robots.txt и ввести один URL для проверки.
Другие инструменты доступны для проверки нескольких URL-ов, в противоположность robots.txt. Но нужно помнить, что эти инструменты используют собственный интернет-сканер для интерпретации файла и в редких случаях могут показать результаты, которые отличаются от результатов сканирования, осуществленного собственными роботами Google.
Докладчик рекомендовал использовать, по меньшей мере, одну страницу из каждого раздела сайта. Их проверку также следует включить в код тестирования.
2. Переадресация
Симптомы проблем с переадресацией:
- Видимость сайта в поисковой выдаче снижается;
- Некоторые топовые страницы, которые располагали множеством ссылок, демонстрируют наиболее значительное падение трафика;
- Увеличение количества ошибки 404 в Webmaster Tools для старых URL-ов.
В настоящее время известно, что 301 редирект должен использоваться в 99,99% всех редиректов на сайте. Но об этом знают не все.
Плохую или неработающую переадресацию сложно определить, поскольку если не производится проверка заголовков запроса и ответа с использованием инструментов разработчика браузера, сайт выглядит и функционирует хорошо. Но на самом деле, не хорошо, потому что утерян ссылочный трафик из редиректов на сайте.
На какие симптомы смотреть, если есть подозрение, что это произошло? Докладчик советует сосредоточить внимание на исследовании топовых страниц с множеством связанных с ними элементов, находящихся за пределами сайта. Наблюдалось ли более выраженное понижение позиций этих страниц в выдаче, чем у других страниц сайта?
Также стоит обратить внимание на увеличение количества ошибки 404 в Инструментах для вебмастеров. К сожалению, из-за графика сканирования, эта проблема может проявиться только спустя некоторое время после ее возникновения. Ее можно отслеживать путем добавления дополнительных проверок к тестовому коду разработчиков, который проверяет набор редиректов к страницам. Нужно проверить, все ли редиректы в пути возвращают код состояния 301. Также нужно донести важность использования 301 редиректов до команды разработчиков, поскольку с их помощью легче решить проблемы в конфигурациях сервера, чем протестировать их напрямую.
3. Отсутствие ссылочного пути
Симптомы:
- Постепенное падение трафика;
- Постепенное падение индексации.
Для устранения этой проблемы всякий раз после обновления страницы необходимо проверять источник, к которому привязан тег "noindex, nofollow" в файле robots.txt.
Также необходимо проверить все уникальные шаблоны.
Можно создать автоматический код для проверки совместно с командой разработчиков или привлечь сторонние инструменты.
4. Отсутствующие ссылки/ ссылки, закрытые тегом "nofollow"
- Постепенное падение трафика;
- Постепенное падение индексации;
- Влияет как на Google, так и на Bing (необязательно одновременно);
- Влияет только на подмножество контента.
Для предотвращения этой проблемы следует, во-первых, объяснить всем, кто работает с продуктом, важность ссылок на сайте (on-site links).
Для её устранения нужно убедиться, что протестированы все уникальные шаблоны с помощью плагина Chrome, который выделяет атрибут "nofollow".
Также можно создать автоматизированные коды для проведения тестирования, которые будут предупреждать об отсутствующих ссылках и ссылках, закрытых атрибутом nofollow или использовать для этой цели стороннее ПО.
5. Спамеры
Симптомы:
- Значительное падение трафика;
- Неподходящие слова, которые отображаются в списке ключевых слов в Инструментах для вебмастеров.
Спамеры могут использовать любую область сайта, в которой пользователи могут генерировать контент, для направления трафика к своим ресурсам.
Симптомы этого легко найти. Нужно проверить разделы комментариев сайта на предмет спам-контента. Через Инструменты для вебмастеров можно увидеть появление сторонних ключевых слов. Во многих случаях Google предупредит пользователя, если спам начнет атаковать сайт, через e-mail из Инструментов для вебмастеров.
Предупредить появление спама на сайте немного сложнее. Любая из популярных CMS имеет плагины, блокирующие спам, для страниц комментариев. Можно также включить модерацию комментариев и регулярно их отслеживать. Если это крупный сайт с поисковым функционалом, можно регулярно производить поиск ключевых слов, представляющих собой поисковый спам (для получения идей ключевых слов можно проверить свой спам-ящик электронной почты).
Докладчик также рассказал, какие случайные или намеренные изменения страницы влияют на SEO.
Элементы страниц, влияющие на SEO:
- Н1, Н2, Н3;
- Заголовки;
- Альтернативный текст (alt- текст);
- Текст анкоров;
- Текст на странице.
Для предотвращения появления проблем в этом направлении, владельцам сайта и SEO-специалистам нужно:
- заниматься тренингами и обучением, чтобы все сотрудники, имеющие доступ к сайту, понимали важность элементов страницы;
- использовать автоматизированные коды, инструменты проверки и тестирования для определения проблем;
- проводить регулярный аудит сайта с момента его официального запуска.
Общий комплекс мероприятий, направленных на избежание основных проблем SEO, включает работу по следующим направлениям:
Люди:
- тренинги, обучение;
- регулярное тестирование изменений, влияющих на SEO.
Инструменты:
- создание пользовательских кодов;
- использование инструмента SEORadar, разработанного специально для определения и предупреждения пользователей о потенциальных проблемах с SEO;
- использование инструментов для проведения SEO-аудита: ScreamingFrog, Raven, Moz, BrightEdge, SearchMetrics, Conductor.
В заключение своего выступления, Марк Мунро еще раз отметил, что потенциально наиболее деструктивным для сайта является индексирование всех видов дублированного контента и нужно направить все усилия, чтобы это не произошло.
Последним в рамках секции прозвучал доклад Энтони Пиваруна (Anthony Piwarun), менеджера Search Engine Marketing, Zeon Solutions, на тему: «Обеспечение технической обоснованности сайта для программ-пауков и посетителей» (Ensuring Your Site is Technically Sound for Spiders and Visitors Alike).
Фото взято c сайта zeonsolutions.com
Как обеспечить техническую обоснованность сайта:
- Использовать лучшие практики, чтобы убедиться, что поисковые системы могут эффективно сканировать, индексировать и ранжировать страницы, релевантные поисковым запросам пользователей;
- Занимать проактивную позицию и направлять поисковые системы в правильном направлении.
- Структура URL;
- Шлюзы и mall-каталоги (robots.txt и sitemap.xml);
- Оптимизация сайта для мобильных устройств;
- Переадресация;
- Микроразметка schema.org;
- Атрибуты "rel=canonical" и "next/prev".
Шлюзы и mall-каталоги
Robots.txt:
- Важен для управления доступом к контенту и его индексации поисковыми роботами;
- Нужно обратить внимание на поиск на сайте; файл sitemap.xml; значение категории.
Sitemap.xml:
- Сегментированные карты сайта позволяют увеличить видимость определённых участков сайта для сканирования их поисковыми роботами;
- Позволяют добавить файлы индекса и субфайлы в Инструменты для вебмастеров для измерения отношения сканирования к индексированию;
- Позволяют определить области, нуждающиеся в улучшении.
Оптимизация сайта для мобильных устройств
Три основные опции для мобильного просмотра:
- Отзывчивый дизайн – интерфейс и функциональность десктопной версии сайта, которые подстраиваются под экран мобильных устройств;
- Адаптивный дизайн – функционал, адаптированный для мобильных устройств;
- Гибридный отзывчивый дизайн – включает встроенные элементы отзывчивого и адаптивного дизайна.
Предостережение:
- Отдельное использование декстопной и мобильной версии сайта может вызвать дублирование контента;
- Возникновение этой проблемы можно предупредить путем применения атрибутов "rel=canonical" и "rel=alternate".
Переадресация (Linux – Apache)
301 редиректы и RewriteRules обрабатываются в одном из двух (иногда трех) файлов:
- HTACCESS – используется для разовых переадресаций в случае изменения URL; прекращения действия продукта и т.д.;
- HTTDP.conf – используется для пакетной обработки правил переписывания и редиректорв. Его можно использовать для большого количества редиректов / правил, чтобы предотвратить их негативное влияние на производительность сервера.
Переадресация (Microsoft – IIS)
Докладчик привёл два метода для переадресации 301 URL-ов:
- Redirects – отображение один-к-одному в web.config или менеджере IIS, внедряя 301 редиректы со стороны клиента;
- Rewrites – конфигурация со стороны сервера, использующая регулярные выражения и шаблоны.
Переписать правила – идеальный вариант, если они находятся на уровне сервера.
"Rel=canonical" VS "Next/Prev"
По мнению Энтони Пиваруна, применение атрибута "rel=canonical" должно быть стандартом для сайтов электронной коммерции.
Кросс-доменная канонизация
Кросс-доменная канонизация – сродни стандартному тегу "rel=canonical", но она указывает на страницу или другой домен.
Микроразметка структурирована следующим образом:
- Основной сайт: <link rel="canonical" href="http://www.DOMAIN1.com/page-1" />;
- Дубликат сайта: <link rel="canonical" href="http://www.DOMAIN1.com/page-1" />.
Применение канонизации для сайтов электронной торговли:
Бренды и дистрибуторы, у которых есть как B2B, так и B2C сайт с одинаковым каталогом или отдельный сайт, контент которого дублирует контент блога магазина – всё это является дуплицированным контентом.
Нужно определить, какая категория/ субкатегория/ продукт наиболее релевантны для аудитории каждого сайта и реализовать канонизацию соответственно.
Сессия вопросов и ответов
В начале сессии, Мэтт Стормс спросил участников: «Кто из вас считает, что бесконечная прокрутка – это будущее интернет-сайтов?». Никто не поднял руку, что удивило спикера. Далее эксперты оценивали плюсы и минусы бесконечной прокрутки и высказывались за или против этого похода к проектированию страниц.
Аргументы в защиту бесконечной прокрутки
Первая мысль, которую высказало большинство участников, – сайты с бесконечной прокруткой раздражают. Тем не менее, это макет, который аппелирует к предпочитаемому поведению людей в интернет.
Плюсы бесконечной прокрутки, оговоренные в дискуссии:
Наиболее популярные некоммерческие сайты используют этот дизайн, средний пользователь знаком с ним.
Мэтт Стормс сказал: «Когда вы используете Facebook, вы постоянно прокручиваете [ленту новостей], чтобы увидеть записи друзей, пока это вам не надоест. Это может продолжаться до 30 минут».
Бесконечная прокрутка – дизайн, дружественный к мобильным устройствам.
Алекс Беннерт (Alex Bennert), бывший консультант Wall Street Journal, сказал: «Если мы думаем о том, как часто люди осуществляют поиск в интернете с мобильных устройств, буквальное использование руки для бесконечной прокрутки имеет смысл».
Способствует бесконечному потреблению контента, особенно в случае сайтов электронной торговли и новостных ресурсов.
Мэтт Стормс сказал: «Бесконечная прокрутка – будущее новостных сайтов. Это отличный способ показа бесконечного релевантного контента для увеличения времени пребывания пользователей на сайте и их вовлечения во взаимодействие с контентом».
Более того, бесконечная прокрутка может помочь в построении KPI (ключевых показателей эффективности) для издателей. Поскольку она задерживает пользователей на сайте на более длительное время, количество показов может вырасти.
Бесконечная прокрутка, сделанная правильно, может создать беспрепятственный пользовательский опыт.
Мэтт Стормс сказал, что, если дизайн и техническая интеграция сделаны основательно, люди предпочтут бесконечную прокрутку другим видам дизайна сайта.
Аргументы против бесконечной прокрутки
Проблемы с производительностью сайта, связанные с временем загрузки страниц.
Маркус Тобер (Marcus Tober), представитель Searchmetrics, сказал, что многие сайты электронной коммерции возвращаются к обычному дизайну, уходя от бесконечной прокрутки. По его мнению, это может быть связано именно с этой опцией. Даже Мэтт Стормс согласился, что это может быть проблемой. Он сказал: «Я признаю, что самая большая проблема страниц с бесконечной прокруткой – это получение времени загрузки в рамках нескольких секунд».
Кошмар навигации
Марк Мунро, представитель SEORadar сказал, что иногда люди хотят посмотреть на отдельные страницы продуктов и быстро на них перейти.
Нет включения страниц в Новости Google.
«Бесконечная прокрутка увеличивает размер файла для страниц, попадающих в индекс Новостей Google», - сказал SEO-консультант Алекс Беннерт.
Выводы
Поскольку опция бесконечной прокрутки касается пользовательского опыта, правильный ответ может будет озвучен только непосредственно посетителем сайта. Ядром любого дизайна должен быть клиент. В противном случае, пользовательский опыт будет страдать, независимо от того, насколько хорошо выглядит сайт.