Автор: Анна Ярошенко, контент-стратег JetOctopus
Ваш сайт переживал SEO-апокалипсис? Наш - да. Руководствуясь результатами частичного краулинга, SEO-шник удалил релевантный контент (30% сайта!). Последствия были печальными: просадка трафика и потеря позиций в результатах поиска.
Частичный технический аудит сайта бесполезен и даже опасен для сайтов. Почему? Читайте в нашей статье.
Частичный технический аудит сайта опаснее, чем кажется
Наш первый бизнес - это сайт поиска работы Hotwork с пятью миллионами страниц. Мы искали возможность увеличения органического трафика и решили для ускорения процесса проанализировать первые 200 тыс. страниц.
Краулинг показал нам наличие большого количества мусорного автосгенерированного контента. Мы сделали вывод о том, что на остальных частях сайта ситуация такая же, и поэтому удалили эти страницы. А оказалось, что среди контента было много релевантных страниц с высокими позициями в поиске. Это наша критическая ошибка!
Мы ожидали, что краулинговый бюджет увеличится, а получили значительное падение SEO-трафика. Только после того, как мы вручную проверили каждый URL и вернули хороший контент, наш сайт вернул потерянные позиции в Google. Этот процесс длился 3 месяца. Мы потеряли время и деньги, но получили ценный опыт. Результаты частичного технического анализа нельзя реплицировать на весь сайт.
Не повторяйте печальную судьбу Титаника: огромный корабль затонул после столкновения с айсбергом.
С частичным аудитом вы видите только вершину айсберга и недооцениваете опасность. Рассмотрим на 2-х реальных примерах как неполноценный анализ искажает данные.
Мы просканировали 1 тыс. cтраниц e-commerce сайта, хотя краулер нашел более 85 тыс. URL-ов:
Смотрим в раздел Доступность к индексации (Indexation). Частичный анализ показал всего 4 проблемы с блокировкой страниц и 15 с языковыми версиями сайта (0,02 % от всех страниц):
Теперь посмотрим на результаты краулинга всего сайта:
Заблокировано от индексации свыше 33 тысяч страниц, почти 62 тысячи неоптимизированных для языковых версий URL-ов. 52% сайта по техническим причинам закрыты для индексации и, соответственно, ранжирования. Совсем другая картина, правда?
Посмотрим на время загрузки страниц. Частичный краулинг показывает, что более 60 % сайта грузится дольше 2 секунд, что является довольно критичным.
А если посмотреть на данные краулинга всего сайта:
Можно увидеть практически противоположную картину: 67 % сайта грузится быстро. И по сути - никакого пожара.
Проанализировав эту ситуацию, видно, что большинство страниц с загрузкой более 2 секунд находится на верхних уровнях сайта (DFI меньше 3 уровня), куда успел добраться бот во время частичного краулинга.
Если бы мы проводили SEO на данных частичного краулинга, то в первую очередь побежали бы оптимизировать скорость загрузки, хотя приоритетными являются проблемы с индексацией. Согласитесь, что если больше половины сайта заблокировано от поисковых ботов, то 6% медленных страниц - это мелочи. Все еще верите данным частичного анализа?
Так не бывает: частичный краулинг эффективен при рандомной выборке URL-ов
Когда социологи хотят получить правдивые результаты исследования, они выбирают для опроса людей разных возрастов, пола и профессий. Профессор социологии Чуриков А. В. в статье о формировании выборки отмечает:
«Выборка называется случайной, если каждый человек (каждый представитель совокупности) имеет известную ненулевую вероятность быть отобранным. Корни этого определения лежат в теории вероятностей, которая обосновала выборочные методы исследования».
Случайная выборка - это самый надежный способ получить неискаженные данные. Таким же образом работает и технический аудит: вы можете просканировать несколько страниц и получить релевантные результаты, но как вы заставите запрограммированный веб-краулер выбирать URLы в случайном порядке?
Веб-краулер работает на прописанных алгоритмах и не может рандомно выбирать страницы для анализа. Технопедия определяет «веб-краулер» так:
«Веб-краулер - это интернет-бот, который помогает индексировать страницы. […] Краулер анализирует страницы сайта одну за одной, пока все URL-ы не будут проиндексированы».
Давайте разберемся, как частичный анализ может навредить сайту, на примере внутренней перелинковки. Веб-краулер начинает сканировать сайт с главной страницы и по ссылкам переходит на следующие уровни.
Частичный анализ первых 100 тысяч страниц показывает структуру. Но картина будет совсем другой на 5-10+ уровнях вложенности страниц.
Вы можете сделать некорректные выводы о перелинковке на основе данных с первых уровней (где, как правило, ссылки проставлены корректно), но бот может находить больше и больше ошибок на отдаленных страницах и понижать из-за этого позиции сайта.
Сведение данных частичного анализа - долгое и рискованное занятие
Даже если ваш сайт маленький, вы тратите уйму времени на сведение данных в единую картину. Если же вы краулите коммерческий сайт с миллионами страниц, вы сначала создаете отдельные сегменты страниц, краулите эти части, затем сводите данные в Excel (пытаясь ничего не потерять) и после этого «радостного» процесса начинаете анализировать отчет. Звучит не очень заманчиво, правда?
Человеческий фактор также играет роль в искажении данных. Один SEO-шник будет ломать голову над сведением данных несколько дней, так что это задание целесообразно поручить команде специалистов. Чем больше людей вовлечено в процесс, тем больше фрагментов технических данных теряется.
Вы можете нанять SEO-шника гения, который справится в одиночку со сбором и обработкой данных частичного краулинга, но этот подход невозможно масштабировать. Сведение данных требует максимальной концентрации, но со временем интерес к монотонной работе снижается.
В результате вы тратите время и ресурсы, но все равно получите искаженные результаты аудита.
Подводя итоги, можно сказать так: частичный технический анализ показывает неполноценные, искаженные данные. Пожалуйста, не оценивайте техническое SEO сайта, основываясь на результатах выборочного анализа - не повторяйте наших ошибок.
Полноценный технический аудит - это навигатор к высоким позициям в поисковой выдаче. Если вы переезжаете на новую CMS, внедряете новый дизайн или публикуете блок свежего контента, проведите SEO-аудит. Вы увидите все технические баги на сайте и сможете взглянуть на сайт «глазами» поисковых роботов. Вы поймете, как ваши обновления воспринимает поисковая система и сравните результаты до и после изменений. Вы будете точно понимать эффективность каждого эксперимента, и SEO-маркетинг в целом, из гипотезы перерастет в конкретную понимаемую науку.