С момента запуска Penguin 4.0 прошло уже полгода. Google понадобилась целая вечность, чтобы выпустить это обновление. Но оно того стоило. Эта версия работает намного справедливее, чем предыдущие итерации Penguin. Ранее при подозрении на манипуляции со ссылками алгоритм понижал сайт целиком. Даже после очистки ссылочного профиля санкции сохранялись до запуска следующего обновления алгоритма. Владельцам сайтов приходилось ждать выхода из-под фильтра месяцами, а то и годами.
По словам сотрудника Google Гэри Илша, теперь Penguin не понижает сайты за некачественные ссылки, а обесценивает сам спам.
В настоящее время поисковик достаточно доверяет своей способности выявлять и обесценивать спам, что позволило устранить карательный аспект Penguin. И это впечатляет.
Однако это изменение наталкивает на следующий вопрос: если Penguin способен самостоятельно находить и обесценивать спам, есть ли ещё причины использовать инструмент отклонения ссылок?
Краткое напоминание: что такое Disavow Tool
Инструмент отклонения ссылок (Disavow Tool) был запущен в октябре 2012 года. Чтобы воспользоваться им, нужно загрузить в Google файл, который содержит список URL или доменов, которые нужно отклонить. Затем, когда Google будет сканировать интернет и попадёт на URL или домен из файла Disavow, то он не будет использовать ссылки из этой страницы при расчёте PageRank для данного сайта. Penguin также будет игнорировать эти ссылки.
Для сайтов, которые попадали под Penguin ранее, инструмент отклонения ссылок был неотъемлемой частью работы над выходом из-под фильтра. С его помощью они могли сообщить Google, что эти ссылки больше не должны учитываться. В идеале, наилучшим решением было бы удаление некачественных ссылок из интернета, но это не всегда возможно. До выхода Penguin 4.0 инструмент отклонения ссылок был чрезвычайно важен для каждого сайта, попавшего под фильтр.
Текущая позиция Google касательно Disavow Tool
Вскоре после выхода Penguin 4.0 вебмастера начали спрашивать Google, нужен ли ещё инструмент Disavow. Если поисковик способен обесценивать спамные ссылки, зачем их отклонять? В Google ответили, что рекомендации по использованию инструмента отклонения ссылок остались прежними.
Сторонники теории заговора в ответ на эти заявления сказали бы: «Конечно, Google хочет, чтобы вы отклоняли ссылки! Им нужны данные для машинного обучения Penguin».
Однако в октябре 2016 года в Google заявили, что Penguin не является алгоритмом машинного обучения. Но даже если поисковик использует данные инструмента отклонения ссылок для машинного обучения, имеет ли это значение? По нашему мнению, если Google говорит, что вебмастерам всё ещё нужно использовать файл Disavow, то у него нет цели ввести их в заблуждение.
Три причины по-прежнему использовать Disavow Tool
Есть три основные причины, по которым мы всё ещё рекомендуем использовать инструмент отклонения ссылок.
- Ручные санкции никто не отменял
Google может принять ручные меры в отношении сайта, замеченного в манипуляциях со ссылками, что может нанести значительный урон его «здоровью» в долгосрочной перспективе.
В октябре 2016 года Гэри Илш рассказал, что когда сотрудник команды по борьбе с веб-спамом просматривает ссылочный профиль сайта, он может видеть возле ссылок специальные ярлыки.
«Если команда, которая занимается ручными санкциями, по какой-либо причине проверяет сайт и видит, что большинство ссылок помечены как обработанные Penguin, она может решить провести более глубокую проверку… а затем, возможно, наложить на него ручные санкции из-за ссылок».
Другими словами, если в ссылочном профиле сайта содержатся неестественные ссылки, и владелец ресурса не отклоняет их, полагаясь на Penguin, то он рискует получить ручные санкции.
Понятно, что если сайт уже попал под ручные санкции, то для выхода из-под них нужно использовать отклонение ссылок наряду с их удалением.
- Есть и другие алгоритмы, которые используют ссылки
Качество ссылок всегда было важно для Google. По нашему мнению, Penguin – это лишь один из способов, с помощью которых Google борется с неестественными ссылками алгоритмически. Ещё одним алгоритмом, который вероятно использует ссылки, является Google Payday Loans. Этот фильтр не предназначен исключительно для сайтов краткосрочных кредито. Он также анализирует сайты во многих высококонкурентных тематиках.
Владелец блога SEO by the Sea Бил Славски недавно опубликовал интересную статью, в которой он поделился своими мыслями по поводу одного из последних патентов, зарегистрированного Google. Этот патент описывает ситуацию, когда ресурс может иметь большое количество указывающих на него ссылок при непропорционально низком объёме трафика. В таких случаях страница, на которую ссылаются, может быть понижена в ранжировании.
Учитывая, что это всего лишь патент, совсем необязательно, что за описанной в нём технологией стоит конкретный алгоритм. Тем не менее, его существование не исключено. И это заставляет задуматься, не так ли?
Google всегда пытался бороться с ссылочным спамом, и Penguin – лишь один из способов, которые поисковая система используется с этой целью. Если есть ссылки, из-за которых Google может воспринять ссылочный профиль как спамный, тогда лучше исключить их из всех калькуляций, которыми занимается поисковая система.
- Можно ли полностью полагаться на Penguin?
В официальном сообщении о выходе Penguin говорится следующее:
«Penguin стал работать более точечно. Теперь он обесценивает спам, корректируя позиции, основанные на спамных сигналах, а не влияет на ранжирование сайта в целом».
Это заявление до конца непонятно и вызывает следующие вопросы:
- Когда Google говорит, что позиции корректируются, могут ли это быть отрицательные корректировки?
- Может ли Penguin понижать позиции отдельных страниц, не затрагивая сайт в целом?
- Может ли Penguin понижать позиции по конкретным ключевым словам вместо того, чтобы затрагивать сайт в целом?
Как упоминалось выше, сотрудники Google пояснили, что Penguin 4.0 не наказывает сайты, а обесценивает сам спам. Однако это неофициальные заявления. Они могут означать, что теперь вебмастерам вообще не нужно беспокоиться о ссылках, указывающих на сайт. Или же, что волноваться об этом нужно, но не так сильно, как раньше.
Если же успех компании зависит от органических позиций в Google, то полностью полагаться на способность алгоритма распознавать и игнорировать неестественные ссылки, наверное, не стоит.
Кому нужно отклонять ссылки?
Хотя мы по-прежнему рекомендуем использовать инструмент отклонения ссылок, делать это мы советуем в следующих случаях:
- Сайты, которые массово нарабатывали ссылки в SEO-целях – размещали их в каталогах низкого качества, на сайтах с низкокачественными статьями или в комментариях – то эти ссылки нужно убрать. Такие URL могут обесцениваться Penguin, однако они также могут привести к ручным санкциям за манипуляции со ссылками, если их не отклонить.
- Сайты, которые ранее попадали под ручные санкции за неестественные ссылки. Мы выяснили, что со временем такие сайты собирают всё больше спамных ссылок. Иногда это связано с низкокачественными каталогами, которые копируют информацию из подобных каталогов. Ещё одна причина – продолжают поддерживаться старые автоматические процессы генерации ссылок. Иногда объяснения нет, но спамные ссылки продолжают появляться. В большинстве случаев сайты, которые занимались сбором неестественных ссылок, склонны и дальше их собирать. В таком случае наилучший выход – использовать инструмент отклонения ссылок на регулярной основе (ежемесячно или ежеквартально), чтобы избежать новых ручных санкций.
- Сайты, которые подверглись очевидным SEO-атакам. Ключевое слово здесь «очевидным». В большинстве случаев Google способен понять, что спамные ссылки, указывающие на сайт, это те ссылки, которые должны игнорироваться. Однако на конференции SMX West 2017 Гэри Илш заявил, что алгоритм может делать ошибки.
Если на сайт указывает множество ссылок с фармацевтических или порносайтов, их можно отклонить. Но в большинстве случаев их можно проигнорировать. Мы настоятельно рекомендуем отклонять анкорные ссылки с ключевыми словами, по которым вы хотите ранжироваться. Эти ссылки могут быть восприняты командой по борьбе с веб-спамом как используемые в SEO-целях, что может привести к ручным санкциям.
Кому не нужно отклонять ссылки?
Если вы видите в своём профиле «странные» ссылки, объяснить которые не получается, не паникуйте!
Каждый сайт получает странные ссылки и, зачастую, довольно много. Если вы не участвуете в манипулятивных SEO-схемах, у вас, вполне возможно, нет необходимости их отклонять.
Когда Google принимает меры против сайта за неестественные ссылки – как ручные, так и алгоритмические – это связано с тем, что сайт активно пытался манипулировать ранжированием в крупных масштабах. Если в прошлом вы разместили несколько ссылок в каталогах, вряд ли вы попадёте под санкции.
Использовать Disavow-файл не нужно и в том случае, если вы заметили входящие ссылки с сайта в целом. Это может показаться пугающим, когда в Search Console вы видите, что один сайт ссылается на вас тысячи раз, особенно, если речь идёт об анкорной ссылке с ключевым словом. Google понимает, что это ссылка на уровне сайта, а не тысячи отдельных ссылок. Если вы сами создали эту ссылку, чтобы улучшить свои позиции, её нужно отклонить. В противном случае, ничего делать не нужно.
Пограничные случаи
Есть несколько случаев, когда сложно решить, нужно или не нужно отклонять ссылки. К примеру, в том случае, если ранее компания нанимала авторитетную SEO-фирму, которая масштабно занималась линкбилдингом, а не зарабатыванием ссылок для неё.
Допустим, вы получили большинство ссылок с помощью гостевого постинга. Эти посты размещены на сайтах, которые предназначены для людей, а не только для размещения статей. Хорошие ли это ссылки?
Согласно Google, если вы размещаете гостевые посты преимущественно ради ссылок, то это неестественные ссылки. Вот что говорил по этому поводу сотрудник Google Джон Мюллер:
«Оцените ссылку с точки зрения ваших действий на сайте: была бы она там или нет, если бы вы его не оптимизировали. Особенно это касается гостевых постов, в которых вы размещаете ссылку на сайт других людей вместе с контентом, что несколько отличается от чистого линкбилдинга. Думаю, иногда имеет смысл делать гостевые посты и перенаправлять трафик на свой сайт, потому что заинтересованным людям может понравиться то, что вы пишете, однако это тот случай, когда нужно использовать nofollow».
При небольшом количестве гостевых постов санкции маловероятны. Но если команда Google по борьбе с веб-спамом решит проверить ваши ссылки и увидит, что многие из них получены за счёт гостевого постинга, то проблемы могут быть.
Чтобы избежать ручных санкций, можно рассмотреть вопрос отклонения спорных ссылок. При этом не исключено, что эти URL помогают сайту ранжироваться. Их отклонение может привести к снижению позиций ресурса в Google.
Эту статью можно было бы легко превратить в дискуссию о преимуществах и рисках гостевого постинга, если бы для этого было место и время. В данном же случае мы хотели показать, что иногда принимать решения об отклонении ссылок непросто.
В целом, мы руководствуемся следующим правилом: инструмент Disavow нужно использовать в том случае, если в ссылочном профиле сайта есть значительное количество ссылок, которые выглядят так, будто их главная цель – SEO-продвижение.
Нужно ли проводить аудит файла Disavow?
Мы считаем, что некоторые сайты могут выиграть от пересмотра файла Disavow и удаления из него части ссылок.
Если в прошлом вы использовали файл Disavow, чтобы выйти из-под ручных санкций или Penguin, то есть вероятность, что в него попало больше ссылок, чем нужно. В таких случаях мы советуем просмотреть файл повторно и убрать из него домены, отклонение которых было спорным.
Это не всегда просто сделать, особенно, если вы использовали отклонение на уровне домена. В таком случае в файле Disavow не будет отдельных URL для проверки. Сложно убрать из файла домен, не зная, о какой ссылке шла речь изначально.
Ниже описан один из вариантов проведения аудита файла Disavow:
- Выгрузите файл Disavow из Google;
- Выгрузите список ссылок из Google Search Console (чем больше источников ссылок, тем лучше);
- В общем CSV-файле создайте столбец для доменов слева от столбца со ссылками. Извлечь домены можно с помощью формулы ниже (при условии, что URL содержатся в столбце В):
=LEFT(B1,FIND(“/”,B1,9)-1)
- Затем можно использовать функцию «Найти и заменить», чтобы заменить http, https и www пробелами. Теперь у вас есть список доменов.
- В файле Disavow список отклонённых доменов можно получить, заменив «domain:» пробелами (При условии, что вы отклоняли ссылки на уровне домена, а не URL).
- Поместите новый список отклонённых доменов на второй лист CSV-файла со ссылками и заполните столбец В словом «отклонён».
- В общем списке ссылок используйте функцию ВПР (VLOOKUP), чтобы выяснить, какие из текущих активных ссылок были отклонены. В формуле ниже домены находятся в первом столбце каждого листа, 1000 – общее число доменов в нашем списке Disavow:
=VLOOKUP(A1,sheet2!$A$1:$B$1000,2,FALSE)
- Теперь вы можете взять домены, которые находятся в вашем файле Disavow, и проверить эти URL.
Ищите те URL, которые отклонялись в целях безопасности, но в реальности могут быть нормальными ссылками.
Примечание: как и во время технического аудита, не принимайте решения только на основании метрик. Хотя некоторые из этих метрик помогают нам принимать решения, не стоит основываться только на авторитетности домена (DA), показателе спама или любом другом показателе. Вместо этого посмотрите на каждый домен с точки зрения сотрудника команды по борьбе с веб-спамом. В частности, имеет ли эта ссылка ценность не только для SEO.Допустим, мы проверили ссылки в файле Disavow и нашли 20 URL, которые мы хотели бы восстановить. После этого мы возвращаемся к файлу Disavow, выгруженному из Google, и удаляем строчки типа «domain:example.com» для каждого из доменов, который мы хотим возобновить.
Снова загрузите файл Disavow в Google. Он заменит старый файл. Через некоторое время Google начнёт учитывать ссылки, которые вы из него удалили. Однако есть пара вещей, о которых стоит помнить:
- По словам бывшего сотрудника Google Мэтта Каттса, на восстановление ссылки уходит намного больше времени, чем на её отклонение. Прежде, чем ссылка снова начнёт учитываться в ранжировании, должно пройти определённое время. Это делается для того, чтобы спамерам было сложнее обмануть алгоритм.
- Возобновлённая ссылка может передавать меньший вес, чем до её отклонения.
Выводы
Итак, нужно ли отклонять ссылки? В некоторых случаях, да. Если у вас есть ссылки, которые явно предназначены для достижения SEO-целей, их нужно отклонять. В противном случае в будущем сайту могут грозить ручные санкции. Кроме того, важно убедиться, чтобы эти ссылки не учитываются алгоритмами при расчёте рейтинга вашего сайта. Помните, не только Penguin использует ссылки.
Загрузка файла Disavow вряд ли значительно повысит позиции ресурса в Google. Исключение составляют те случаи, когда отклонение ссылок используется для выхода из-под ручных санкций на уровне сайта.
В реальности, никто за пределами Google точно не знает, насколько эффективным является инструмент для отклонения ссылок. Мы знаем только то, что поисковик по-прежнему рекомендует использовать файл Disavow при наличии неестественных ссылок, указывающих на сайт. Поэтому, наш совет будет таким: если в профиле сайта содержатся такие ссылки, их нужно отклонять.
