Автор: Дмитрий Севальнев, руководитель департамента SEO и рекламы в компании «Пиксель Плюс»
Представители поисковой системы Яндекс сообщили 8 сентября 2015 года об обновлении легендарного фильтра АГС. Ранее, модификации фильтра - АГС-30, АГС-40 и другие - были направлены на ограничение в ранжировании сайтов низкого качества (созданных исключительно для манипуляции алгоритмами поисковых систем и/или направленных на монетизацию различными способами (MFA, MFS).
Новая же версия алгоритма затронула и сайты высокого качества с большой долей непоискового трафика, а основным критерием применения санкций стал факт размещения на страницах ресурсов, так называемых, SEO-ссылок и их абсолютное количество.
Так, в числе сайтов, к которым были применены санкции, оказались и такие как: 1dom.ru (бывший тИЦ 2 300), segodnia.ru (бывший тИЦ 1 900), newizv.ru (бывший тИЦ 10 000), tribuna.ru (бывший тИЦ 3 200) и другие, весьма качественные и посещаемый ресурсы.
Проведенное статистическое исследование доноров самой крупной ссылочной биржи рунета показало, что санкциям подверглись 24,5% площадок, а вероятность применения АГС новой версии от показателя тИЦ, совместно с фактом продажи ссылок, выглядит нетипичным образом:
Рис. 1. Доля доноров попавших под новую версию АГС для сайтов ссылочной биржи с различными значениями показателя тИЦ. Среднее значение среди всех проектов составляет 24,5%.
АГС и SEO-специалисты
Что означает для оптимизатора попадание донора под фильтр АГС? Нужно ли вообще учитывать данный факт в работе и ссылочной стратегии?
Исторически, фильтр АГС проявлялся исключением большей части страниц сайта из основного индекса, в результате чего, большая часть размещенных на сайте ссылок оказывалась вне индекса Яндекса, и оптимизаторы автоматически их снимали. Те же ссылки, что находились на документах в индексе, по практике, не давали какого-либо значимого плюса в ранжировании, и их заменяли другими.
В тоже время, анализ простановки внешних ссылок с сайтов под АГС с уникальными анкорами показывает, что после их индексации и ссылочного апдейта, в выдаче появляются так называемые «СНСС-результаты», когда акцептор находится в выдаче только благодаря тексту анкора проиндексированной ссылки. Текущая ситуация сохраняется и для новой версии алгоритма АГС, что легко проверяется тестовыми простановками.
Логичный вопрос: стоит ли тогда снимать ссылки с доноров под АГС?
Ряд экспериментальных наблюдений, говорит о том, что при попадании донора под фильтр АГС, обнуляется передача статического веса (dPR) по всем исходящим межхостовым ссылкам. Это значит, что, при прочих равных, требуется отдать предпочтение площадкам, к которым не были применены санкции. Кроме того, поисковые системы вычисляют качество ссылочного профиля и отдельно учитывают долю ссылок, ведущих с качественных и низкокачественных ресурсов, что будет дополнительно негативно сказываться на ранжировании.
Все данные утверждения ещё предстоит проверить для новой версии алгоритма (как передачу статического веса, так и влияние на ранжирование).
Если же внутренний механизм учёта ссылок с доноров под фильтром АГС в Яндексе остался без изменений, то и вывод остается прежним: требуется отдавать предпочтение донорам без фильтра АГС, с целью повышения статического веса продвигаемых документов и улучшения ряда прочих факторов ранжирования.
Исследование статистических закономерностей предыдущей версии фильтра АГС-40 установило, что наибольшую значимость при применении фильтра имеют следующие факторы:
- Посещаемость сайта. Чем выше трафик — тем ниже вероятность применения санкций.
- Хостовые показатели: тИЦ, наличие сайта в модерируемых каталогах YACA и DMOZ.
- Добавочная ценность ресурса, выраженная в уникальности и качестве контента, шаблона дизайна и т.д.
- Прочие сложно оцениваемые факторы вида: доля показов по роботным запросам, поведенческие факторы, наличие и число сайтов под санкциями, размещенных на том же IP-адресе и т.д.
Ниже, мы рассмотрим принципиальные отличия новой версии АГС по сравнению с его «младшим» братом АГС-40.
АГС и вебмастера
Что внедрение нового фильтра меняет в работе вебмастера/владельца сайта? Сайт попал под фильтр и что далее?
Здесь ситуация не столь однозначна, как может показаться на первый взгляд. С одной стороны — санкции Яндекса это, конечно, ужасно. С другой — текущая потеря видимости для ряда сайтов, попавших под АГС, не является очень существенной и часто составляет порядка 10-20%.
Но, так или иначе, снимать размещенные на доноре под АГС SEO-ссылки будут стремиться как оптимизаторы, так и сами вебмастера, ведь объем монетизации от их размещения может не перекрывать потерю тех самых десятков процентов поискового трафика. Более точные данные о потери трафика ещё предстоит установить в дальнейшем, через 3-4 апдейта базы данных Яндекса.
Так как имеется довольно сильная корреляция объёма размещенной на доноре ссылочной массы и вероятности применения фильтра (Рис. 2), то не исключены и определенные «волны», когда проект будет выходить из-под АГС, в результате отказа оптимизаторов от размещения ссылок на нём, и снова попадать под фильтр после новой «волны» закупки.
Рис. 2. Доля доноров попавших под новую версию АГС в зависимости от числа уникальных получателей SEO-ссылок. Порог выставлен на числе в 500 акцепторов, что значительно меньше среднего по выборке.
Доля сайтов, попавших под АГС, и их показатели
Аналитики компании «Пиксель Плюс» собрали выборку доноров из крупнейшей ссылочной биржи рунета для выявления ряда статистических закономерностей сайтов, попавших под санкции.
Особенности выборки:
- Прохождение по набору параметров: популярные доменные зоны, проиндексированность в Яндексе и Google, второй уровень вложенности домена, регистрация в бирже не менее 50 дней назад
- Все сайты с тИЦ более нуля (от 10)
Каждый сайт был проверен по более чем двадцати параметрам, среди которых:
- Значение показателя тИЦ до попадания под АГС
- Число страниц в индексе Яндекса и Google
- Посещаемость и её оценка по Alexa Rank
- Число уникальных получателей ссылок
- Регистрация в YACA
- IP-адрес, наличие блоков Директа и AdSense и т.д.
Ниже мы представим интересные статистические закономерности, выявленные в результате анализа.
Число уникальных получателей ссылок
Хорошую корреляцию с вероятностью применения фильтра показал параметр «Число уникальных получателей SEO-ссылок» с рассматриваемого донора (Рис. 3). Это весьма логично, ввиду прямого заявления Яндекса: «Для снятия ограничений в ранжировании достаточно отказаться от размещения SEO-ссылок на страницах сайта и дождаться, пока робот отследит эти изменения».
Таким образом, чем больше размещено SEO-ссылок на указанном ресурсе — тем выше вероятность попадания под санкции. Зависимость весьма сильная.
Рис. 3. Доля доноров попавших под новую версию АГС в зависимости от числа уникальных получателей SEO-ссылок. Вся выборка разбита на 5 групп с примерно равным числом сайтов в каждой из них.
Значимость окружения: IP-адрес
Как известно, в алгоритмах антиспама используются, в том числе, и сведения о хостинге и владельце домена. Анализ показал, что число сайтов, находящихся на заданном IP-адресе, не оказывает существенного влияния на вероятность применения фильтра (Рис. 4). Выявлены определенные «сетки» (более 30 доноров на одном IP), часть из которых попала под АГС, а часть нет. Существенного влияния не замечено.
Рис. 4. Небольшой фрагмент выборки для демонстрации отсутствия фильтрации доноров только по их IP-адресу и окружению.
Мономы и сегменты из выборки
Под мономом в информационном поиске подразумевается некоторая комбинация, составленная из факторов/фич. Часто, составив ряд мономов и соотнеся такие показатели, как: тИЦ, число получателей ссылок, посещаемость, число страниц в индексе, дата индексации страницы-донора и т.д., можно найти интересные закономерности и построить эффективный подбор ссылочных доноров (ссылочный Rank).
Данный подход используют и ссылочные агрегаторы, для фильтрации и ранжирования доноров по качеству внутри системы.
При анализе был составлен ряд простейших мономов с целью выявления корреляции их значений и вероятности применения санкций. Ниже представлены сегменты выборки, построенные по численному значению одного из мономов (см. подписи к рисункам).
Рис. 5. Вероятность применения АГС и сегментация выборки по численному значению монома равному натурального логарифму от деления тИЦ на число получателей ссылок с нормировочным коэффициентом плюс единица.
Не «выстрелил» отлично зарекомендовавший себя ранее моном, построенный на соотношении объема трафика сайта к числу уникальных получателей ссылок:
Рис. 6. Отсутствие значимого влияния на вероятность применения АГС монома равного натурального логарифму от деления объема трафика на число получателей ссылок с нормировочным коэффициентом плюс единица.
Лучшую предсказательную силу показал моном, полученный простым делением числа ссылающихся на донор сайтов к числу уникальных получателей (исходящих):
Рис. 7. Вероятность применения санкций в зависимости от соотношения числа ссылающихся на донор сайтов к числу уникальных получателей.
Не показал сильной защиты от АГС и такой моном, как отношение числа уникальных получателей ссылок к числу страниц в индексе поисковой системы Яндекс (Рис. 8). Другими словами — можно размещать мало исходящих SEO-ссылок относительно размера сайта, но всё равно попасть под санкции. Очевидно, что здесь большую значимость играет абсолютное число уникальных получателей.
Рис. 8. Демонстрация отсутствия протекции для доноров, которые продают менее 1 ссылки на 33 страницы в индексе Яндекса. Вероятность применения фильтра для них оказывается около 17% (всего на 7,5% ниже среднего значения).
Параметры, не показавшие своей значимости
Ряд факторов не показали своей значимости, это значит, что, сегментируя выборку по ним, не удается выявить какой либо статистически значимой закономерности. К ним относятся следующие факторы:
- YACA: наличие или отсутствие сайта в каталоге
- AdSense: наличие или отсутствие блоков этой рекламной сети
- IP-адрес и число сайтов на заданном IP
- Majestic CF и Majestic TF для домена
- И другие
Сроки снятия санкций
Для снятия санкций с проекта необходимо уменьшить число исходящих с него SEO-ссылок меньше определенного порога, величина которого зависит от хостовых характеристик сайта, таких как тИЦ (см. Рис. 5) и прочих. После чего, паук поисковой системы пересканирует сайт, и санкции снимутся.
Для верности рекомендуется составить письмо в службу поддержки Яндекса, после проведенных работ.
Минимальные сроки снятия фильтра АГС будут зависеть от размера сайта и темпов его переиндексации. Характерный временной интервал: от 2 недель (небольшие проекты, ускорение переиндексации) до 2-3 месяцев (неудачное стечение обстоятельств, плюс редкие апдейты).
В качестве резюме
Чем интересен рынок поискового продвижения — часто меняющимися правилами игры. В этот раз представители антиспам отдела Яндекса несколько удивили, применив санкции к большому числу качественных сайтов, приняв во внимание лишь небольшое число его показателей: число сайтов, на которые он ссылается, тИЦ и некоторые другие.
В связи с чем, логичным было бы предложить другое название для фильтра, а именно «АС», которое можно расшифровать как «Анти-Сапа» или «Автомат Специальный» — кому как больше нравится.
Это внесло бы большую ясность на рынке интернет-маркетинга, так как фильтр АГС, изначально нацеленный на сайты низкого качества, имеет очень мало общего с новой его модификацией, а название лишь вводит владельцев сайтов в заблуждение.
Поисковым оптимизаторам мы бы рекомендовали в очередной раз перестроить свои ссылочные стратегии, опираясь на представленные выше статистические закономерности, и не забывать о подавляющей значимости прочих групп факторов ранжирования по сравнению с факторами, построенными на внешних ссылках.
