«Хотели как лучше…» или Почему частичный технический анализ вредит сайту

Автор: Анна Ярошенко, контент-стратег JetOctopus 

Ваш сайт переживал SEO-апокалипсис? Наш - да. Руководствуясь результатами частичного краулинга, SEO-шник удалил релевантный контент (30% сайта!). Последствия были печальными: просадка трафика и потеря позиций в результатах поиска. 

Частичный технический аудит сайта бесполезен и даже опасен для сайтов. Почему? Читайте в нашей статье. 

Частичный технический аудит сайта опаснее, чем кажется 

Наш первый бизнес - это сайт поиска работы Hotwork с пятью миллионами страниц. Мы искали возможность увеличения органического трафика и решили для ускорения процесса проанализировать  первые 200 тыс. страниц.

Краулинг показал нам наличие большого количества мусорного автосгенерированного контента. Мы сделали вывод о том, что на остальных частях сайта ситуация такая же, и поэтому удалили эти страницы.  А оказалось, что среди контента было много релевантных страниц с высокими позициями в поиске. Это наша критическая ошибка!  

Мы ожидали, что краулинговый бюджет увеличится, а получили значительное падение SEO-трафика. Только после того, как мы вручную проверили каждый URL и вернули хороший контент, наш сайт вернул потерянные позиции в Google. Этот процесс длился 3 месяца. Мы потеряли время и деньги, но получили ценный опыт. Результаты частичного  технического анализа нельзя реплицировать на весь сайт. 

Не повторяйте  печальную судьбу Титаника: огромный корабль затонул после столкновения с айсбергом.  

С частичным аудитом вы видите  только вершину айсберга и недооцениваете опасность. Рассмотрим на 2-х реальных примерах как неполноценный анализ искажает данные.

Мы просканировали 1 тыс. cтраниц e-commerce сайта, хотя краулер нашел более 85 тыс. URL-ов:

Смотрим в раздел Доступность к индексации (Indexation). Частичный анализ показал всего 4 проблемы с блокировкой страниц и  15 с языковыми версиями сайта (0,02 % от всех страниц):

Теперь посмотрим на результаты краулинга всего сайта:

Заблокировано от индексации свыше 33 тысяч страниц,  почти 62 тысячи неоптимизированных для языковых версий URL-ов. 52% сайта по техническим причинам закрыты для индексации и, соответственно, ранжирования. Совсем другая картина, правда?

Посмотрим на время загрузки страниц. Частичный краулинг показывает, что более 60 % сайта грузится дольше 2 секунд, что является довольно критичным.

А если посмотреть на  данные краулинга всего сайта:

Можно увидеть практически противоположную картину: 67 % сайта грузится быстро. И по сути - никакого пожара.

Проанализировав эту ситуацию, видно, что большинство страниц с загрузкой более 2 секунд находится на верхних уровнях сайта (DFI меньше 3 уровня), куда успел добраться бот во время частичного краулинга.

Если бы мы проводили SEO на данных частичного краулинга, то в первую очередь побежали бы оптимизировать скорость загрузки, хотя приоритетными являются проблемы с индексацией.  Согласитесь, что если больше половины сайта заблокировано от поисковых ботов, то 6% медленных страниц - это мелочи. Все еще верите данным частичного анализа?

Так не бывает: частичный краулинг эффективен при  рандомной выборке URL-ов

Когда  социологи хотят получить правдивые результаты исследования, они выбирают для опроса людей разных возрастов, пола и профессий. Профессор социологии Чуриков А. В.  в  статье о формировании выборки  отмечает:

«Выборка называется случайной, если каждый человек (каждый представитель совокупности) имеет известную ненулевую вероятность быть отобранным. Корни этого определения лежат в теории вероятностей, которая обосновала выборочные методы исследования».

Случайная выборка -  это самый надежный способ получить неискаженные данные. Таким же образом работает и технический аудит: вы можете просканировать несколько страниц и получить релевантные результаты, но как вы заставите запрограммированный веб-краулер выбирать  URLы в случайном порядке?

Веб-краулер работает на прописанных алгоритмах и не может рандомно выбирать страницы для анализа.  Технопедия определяет «веб-краулер» так: 

«Веб-краулер - это интернет-бот, который помогает индексировать страницы. […] Краулер анализирует страницы сайта одну за одной, пока все URL-ы не будут проиндексированы».

Давайте разберемся, как частичный анализ может навредить сайту, на примере внутренней перелинковки. Веб-краулер начинает сканировать сайт с главной страницы и по ссылкам переходит на следующие уровни. 

Частичный анализ первых 100 тысяч страниц показывает структуру.  Но картина будет совсем другой на  5-10+ уровнях вложенности страниц.

Вы можете сделать некорректные выводы о перелинковке на основе данных с первых уровней (где, как правило, ссылки проставлены корректно), но бот может находить больше и больше ошибок на отдаленных страницах и понижать из-за этого позиции сайта.

Сведение данных частичного анализа - долгое и рискованное занятие

Даже если ваш сайт маленький,  вы тратите  уйму времени на сведение данных в единую картину. Если же вы краулите коммерческий сайт с миллионами страниц, вы сначала создаете отдельные сегменты страниц, краулите эти части, затем сводите данные в Excel (пытаясь ничего не потерять) и после этого «радостного» процесса начинаете анализировать отчет. Звучит не очень заманчиво, правда?

Человеческий фактор также играет роль в искажении данных.  Один SEO-шник будет ломать голову над сведением данных несколько  дней, так что это задание целесообразно поручить команде специалистов. Чем больше людей вовлечено в процесс, тем больше фрагментов технических данных теряется. 

Вы можете нанять SEO-шника гения, который справится в одиночку со сбором и обработкой данных частичного краулинга, но этот подход невозможно масштабировать. Сведение данных требует максимальной концентрации, но со временем интерес к монотонной работе снижается. 

В результате вы тратите  время и ресурсы, но все равно получите искаженные результаты аудита.

Подводя итоги, можно сказать так: частичный технический анализ показывает неполноценные, искаженные данные. Пожалуйста, не оценивайте техническое  SEO сайта, основываясь на результатах выборочного анализа - не повторяйте наших ошибок. 

Полноценный технический аудит - это навигатор к высоким позициям в поисковой выдаче. Если  вы переезжаете на новую CMS, внедряете новый дизайн или публикуете блок  свежего контента, проведите SEO-аудит. Вы увидите все  технические баги на сайте и сможете взглянуть на сайт «глазами» поисковых роботов.  Вы поймете, как ваши обновления воспринимает поисковая система и сравните результаты до и после изменений.  Вы будете точно понимать эффективность каждого эксперимента, и SEO-маркетинг в целом, из гипотезы перерастет в конкретную понимаемую науку. 

preview О лютых ошибках в западном линкбилдинге

О лютых ошибках в западном линкбилдинге

Материал подготовлен на основе выступления Александра Лысака (MIRAI net) на конференции NaZapad. Аутрич (англ
preview Клики, показы и позиция в Google Search Console: ответы на частые вопросы

Клики, показы и позиция в Google Search Console: ответы на частые вопросы

На вопросы отвечает известный западный SEO-эксперт Гленн Гейб. В статье он приводит те нюансы, которые чаще всего приходится объяснять клиентам
preview Как часто Google обновляет свой алгоритм?

Как часто Google обновляет свой алгоритм?

В Moz проанализировали, как изменился подход Google к обновлению своего алгоритма в последние годы
preview Отмена 301 редиректа: как избежать проблем

Отмена 301 редиректа: как избежать проблем

Можно ли отменить 301 редирект? Короткий ответ: «Да». Вы можете отозвать переадресацию, даже если технически она является постоянной...
preview Как Google интерпретирует неявный локальный поиск

Как Google интерпретирует неявный локальный поиск

Влияние геозависимых и геонезависимых запросов (геомодификации) на блок локальной выдачи
preview Быстрый анализ сайта

Быстрый анализ сайта

Как быстро проанализировать сайт, чтобы определить все проблемные места и точки роста