Падение трафика из Bing в связи с переходом на HTTPS (SNI): пути решения

Многие вебмастера после перехода с HTTP на HTTPS обнаружили, что это привело к сокращению трафика из Bing. Колумнист Search Engine Land Бен Гудселл (Ben Goodsell) разъясняет проблему и предлагает пути её решения.

privacy-security-lock-ss-1920-800x450.jpg

В прошлом августе Google объявил, что сайты, использующие безопасный протокол HTTPS, получат небольшой толчок в ранжировании. Это шаг был призван побудить всех владельцев веб-ресурсов переключиться с HTTP на HTTPS для обеспечения безопасного интернета для каждого. По мере того, как на этот протокол стало переходить всё больше сайтов, у Bing начались проблемы с поддержкой новых методов и стандартов обеспечения безопасности.

Проблема в сканировании расширений SNI TLS-протокола

Если сайт был переведён на HTTPS через использование расширения SNI протокола TLS, есть высокая вероятность падения показателей краулинга и ранжирования в Bing. Вплоть до текущего месяца Bing не мог сканировать сайты, использующие этот способ внедрения HTTPS. Данные сайты могли лишь вручную вноситься в «белый список».

Как видно на графике ниже, в конечном итоге это привело к сильному снижению показателей сканирования, ранжирования и трафика из поисковой выдачи Bing.

Слева – оценка трафика, основанная на ранжировании, от SEMrush, справа – что может произойти с количеством просканированных ботом страниц в отчёте Reports & Data в Bing Webmaster Tools:

pages-crawled-and-bing-drop-sni-site-800x253.png

Что такое SNI?

Индикация имени сервера (SNI или Server Name Indication) – это расширение TLS протокола, которое указывает, к какому хосту пытается подключиться клиент в начале установки соединения. Это позволяет серверу с самого начала определить корректное имя виртуального хоста для запроса и установки защищенного соединения.

С помощью SNI, можно установить несколько цифровых SSL сертификатов безопасности на одном IP адресе.

bing-issues-traditional-vs-tls-sni-for-https-800x496.png

Служба поддержки вебмастеров Bing

Служба поддержки вебмастеров Bing не оказывала оперативной поддержки в решении указанной проблемы. Сроки ответов зачастую затягивались. Например, в этой ветке представитель Bing ответил спустя более, чем месяц - в конце апреля. Он сообщил следующее:

«Мы хотели бы проинформировать вас, что на текущий момент Bing поддерживает только ограниченное число SNI-сайтов посредством «белого списка». Мы понимаем, что всё больше сайтов переключаются на SNI и планируем расширить поддержку на все SNI-хосты в ближайшие полгода. В качестве краткосрочной меры мы можем, если нужно, внести в белый список 10-20 ваших хостов».

Недавно Bing сообщил, что проблема была решена. Однако инструмент подтверждения файла XML-карты сайта Bing пока не поддерживает SNI. Рекомендуется подтверждать XML-файлы из HTTP-хоста.

Что делать?

Во-первых, если переход на HTTPS с использованием SNI был произведён в последние полгода, важно проверить данные отчёта Reports & Data в Bing Webmaster Tools. Таким образом, можно увидеть число фактически просканированных ботом страниц.

bing-pages-crawled-reports-and-data--800x311.png

Во-вторых, нужно сравнить данные до и после перехода, чтобы оценить возможные потери. Бен Гудселл сделал пользовательский отчёт, облегчающий этот процесс для пользователей Google Analytics. Отчёт легко импортировать.

На скриншоте ниже чётко видно, что органический трафик из Bing после 24 ноября больше не поддерживается на предыдущих уровнях. Вооружившись этой информацией, можно аргументировать причину проблемы. Отчёт также содержит данные о том, какие именно целевые страницы и комбинации ключевых слов были затронуты больше всего.

us-bing-comparison-in-analytics-800x366.png

Выводы

  • Как говорилось выше, на форуме представитель Bing сообщил, что проблема SNI уже решена. Однако официального подтверждения пока не было.
  • Нужно всегда отправлять идеальные и не содержащие ошибок XML-карты в Bing. Для сайтов, использующих SNI, они должны находиться на HTTP-версии сайта. Как минимум до тех пор, пока поддержка SNI не будет внедрена в соответствующий инструмент Bing.
  • Важно следить за проблемой, используя комбинацию данных из отчёта Reports & Data в Bing Webmaster Tools и показателей органического трафика Bing в Google Analytics или другой аналитической платформе.
  • В конце концов, в качестве последнего средства, можно обратиться напрямую к команде Bing Webmaster через специальную форму.

Bing произвёл масштабный редизайн Bing Maps

Bing запустил превью-версию значительно обновлённого картографического сервиса Bing Maps. Новый дизайн и функционал сделали его похожим на Карты Google

Bing предложил своим пользователям поиграть в настольный теннис

Разработчики Bing добавили интерактивную игру в результаты англоязычной поисковой выдачи. Поиск по запросу [pong] отображает игровое поле для настольного тенниса

Google продолжает тестировать сравнение цен в товарных объявлениях

Разработчики Google изменили текст под товарами с низкими ценами в товарных объявлениях

Быстрые ответы Google показывают информацию от Amazon

Пользователи заметили, что товарный поисковый запрос привел к показу информации Amazon в блоке быстрых ответов Google

Google обновит алгоритм «Панда» в ближайшее время

Cпециалист отдела качества поиска Google по работе с вебмастерами Джон Мюллер (John Mueller) во время видеоконференции на немецком языке сообщил о скором обновлении алгоритма...

Google выделяет 10 Мегабайт на сканирование каждой страницы

Google отводит на сканирование каждой страницы не более 10 Мегабайт