18-19 февраля 2015 года в Москве, в «Ирис Конгресс Отеле» проходила четвертая ежегодная конференция All in Top Conf.
Организованная Василием Ткачевым, All in Top Conf, пожалуй, единственное мероприятие, посвященное практическим аспектам вебаналитики и поисковой оптимизации. Здесь звучали доклады, в которых не было никакой «воды» или голой рекламы сервисов, все доклады отличались актуальностью и практической направленностью. В первый день конференции особенное внимание было уделено поисковикам и их сервисам, а также актуальным способам продвижения сайтов в интернете.
Алексей Паньшин: «Современные дорвеи» - технология, аналитика выживаемости и трафика
Доклад, посвященный такой щекотливой теме, как дорвеи, представил Алексей Паньшин (Паньшин Групп). Он сравнил выгодность использования дорвеев и сателлитов для продвижения клиентских проектов, рассказал о современных технологиях дорвейного производства, а также о классических и новаторских дорвейных тематиках.
По словам докладчика, дорвеи появились одновременно с самими поисковыми системами. Сначала они использовали включение ключевых слов в метаданные, затем генерили контен при помощи цепей маркова, занимались копипастом со включением в него ключевых слов. Затем наступила эпоха парсинга контента, а за ней - эпоха парсинга поисковой выдачи. Теперь же парсинг контента идет отовсюду: ПС, сайты, социальные сети, видеоканалы, картиночная выдача.
Так как дорвейщики – это самые ленивые сеошники, не мудрено, что они автоматизировали все, что можно – начиная от регистрации домена и привязки к хостингу, до автоматического создания спам-листов и выгрузки в соответствующий софт.
Далее Алексей перечислил существующие дорвей-генераторы:
Для быстрой индексации и продвижения в выдаче дорвейщики практикуют спам по форумам/гостевым (проблема в сборе актуальной базы и настроенный хрумер), спамят по социальным сетям, в Твиттере, покупают ссылки на новостных сайтах и размещают ссылки у хакеров (на взломанных сайтах).
Алексей сообщил, что на основании данных за последние два года, можно увидеть, что 85-90% страниц в основном индексе Google при низком трафике (5-10 уников). Из этого можно сделать следующий вывод: необходим ссылочный и анкорный вес. Этому может способствовать перелинковка дорвеев между собой, а также спам по форумам/блогам/профилям.
Что же касается выживаемости дорвеев, то проанализировав 4000 аккаунтов фрихостингов и своих доменов, Алексей сделал вывод, что выживаемость дорвеев на своем хостинге – 100%, а выживаемость дорвеев на фри-хостингах – 85%.
Выживаемость в выдаче и индексация:
- Данные по ру.доменам – 30% в среднем (Yandex – 10%, Google – 40%)
- Данные по фрихостингам - 15 – 85%
Трафик на одном дорвее:
Усредненно - 10-100 уникальных посетителей в сутки (в среднем по Google - 10-20 уников, в Яндексе - 50-300 уников). Переходы на посадочные страницы доноров - по кнопке – 35%, по ссылкам – 2-5%.
Срок жизни (дает трафик): в Google – до 500 дней, в Яндексе до 100 дней. При этом нужно иметь в виду, что для Яндекса не редки случаи возвращения дорвея в индекс и вторая жизнь.
По словам докладчика, традиционно дорвеи используются там, где вебмастер может быстро получить трафик, слить его на партнёрку и получить деньги. Как правило, дорвеи используют:
- Для получения развлекательного трафика: гороскопы, игры;
- В женских тематиках: диеты, похудение, одежда и другое;
- Порно трафика.
В коммерческом секторе:
- Банковские кредиты;
- Продажа авиабилетов;
- Е-commerce;
- И другие, в которых есть возможность собрать множество ключевых слов.
Но есть и «нетрадиционно ориетированные» дорвеи, использующиеся для:
- Страхования;
- Строительных материалов;
- Строительных и ремонтных услуг;
- Бытовых услуг;
- Медицины и стоматологии ;
- Юридических услуг ;
- Туристических услуг;
Что же касается сравнения дорвеев с сателлитами, то Алексей отметил, что у сателлита всегда есть риск наложения «аффилиата», а дорвеи просто банятся, после чего можно просто снова начать заливку следующей партии.
В недалеком будущем докладчик предрекает появление так называемых умных дорвеев, на которых будут размещаться телефоны, формы заявок на услуги, будет использоваться API и передача контактов в CRM-системы.
Денис Нарижный: Эффективная ссылочная стратегия 2015
Актуальным тенденциям в формировании качественного ссылочного профиля посвятил свой доклад Денис Нарижный (StudioF1, AskUsers). Он рассказал об основных критериях отбора «работающих» запросов, а также обо всех особенностях работы со всеми группами факторов при продвижении этих самых запросов.
Среди основных групп факторов, влияющих на видимость сайта в поисковой системе, Денис назвал следующие:
Докладчик уверен, что Яндекс, вопреки своему утверждению, так и не отключил влияние ссылочного для коммерческих тематик в Москве и Санкт-Петербурге, ссылки продолжают работать, практически, как и раньше.
Денис является сторонником привлечения на коммерческие сайты некоммерческого трафика. Потому, что он, во-первых, влияет на поведенческие и социальные факторы сайта, во-вторых, способствует популяризации бренда или услуг, а в-третьих, даже таких посетителей можно конвертировать в покупателей.
Для получения новых лояльных пользователей нужно решить три задачи:
- Подобрать информационные запросы («для которых ссылки работают, как раньше») и трафик по которым можно конвертировать
- Продвинуть эти запросы в топ поисковых систем, получить новый трафик (в том числе за счет ссылок)
- Направить пользователей на коммерческие страницы и сделать им торговое предложение
При этом нужно учитывать, что есть запросы, которые ранжируются как информационные, и в дальнейшем неплохо конвертируют информационный трафик в коммерческих клиентов, которые заказывают услуги и товары на сайте.
Денис отметил, что одни запросы конвертируются лучше, другие – хуже, и важно уметь их различать.
Искать работающие запросы можно при помощи Вордстата, прибавляя к названию товара слова, решающие конкретную проблему: +нет, +уронил, +разбил, +сломался и другие из этой же категории, либо слова, помогающие человеку определиться с выбором: +как выбрать, +описание, +обзор, +характеристики, +отзывы и т.д. Можно посмотреть запросы конкурентов в поисковых подсказках Яндекса, почитать форумы, блоги и тематические паблики, а можно просто поставить себя на место пользователя.
Также можно посмотреть какие сайты присутствуют в выдаче по тому или иному запросу – информационные или коммерческие:
Работая над продвижением «работающих» запросов в ТОП-10, Денис советует уделять внимание всем вышеперечисленным факторам, кроме коммерческих и географических, так как, по его наблюдениям, последние две группы никакого влияния на позиции не имеют.
Перечисляя основные особенности работы с различными группами факторов, Денис особенное внимание уделил правильному распределению ссылочной массы по страницам сайта:
и текстам анкоров. По его словам, анкоры лучше писать от лица вебмастера – владельца сайта-донора. Не «Разработку сайта вы можете заказать у нас», а «Заказать разработку сайта вы можете в студии F1». Каждый околоссылочный текст + анкор должен быть уникальным, читабельным, связанным предложением. Не «Разработка сайта заказать Москва недорого», а «заказать услуги по разработке сайтов в Москве - недорого».
Ссылочная стратегия должна строиться по схеме:
При этом анкоры ссылок с основных документов – это самые частотные запросы, анкорами ссылок с документов, ссылающихся на основного донора, должны быть менее частотные запросы из кластера. Все анкоры ссылок, кроме ссылок с информационной страницы должны быть некоммерческими. Ну и обязательно нужно добавить ссылок с форумов, блогов, Ответов@Mail.ru в виде url и так недостающих для естественности ссылочного профиля однословных анкоров.
Такая схема простановки ссылок ведет к тому, что донор за счет тематичности и анкорных ссылок на полезные авторитетные ресурсы получает большой траст. А за счет ссылок из Sape имеет необходимую релевантность целому списку нужных нам запросов.
В итоге получается, что можно самим вырастить нужного нам, практически идеального донора, основной вес которого забирает наш документ, в силу разницы показателей с другими акцепторами и расположения нашей ссылки выше по тексту.
При этом ссылки с донора проставлены на три разных домена и выглядят естественно, что исключает возможность неучета данных ссылок Антиспамом. А анкор-лист в это же время выглядит естественно. И, несмотря на отсутствие в нем анкоров по менее частотным запросам, все равно релевантен всему кластеру запросов, за счет ссылки с основного донора.
Далее Денис подробно рассказал, как конвертировать посетителей, попавших на сайт по информационным запросам, в покупателей. Он уверен, что этого можно добиться, создавая страницы, отвечающие на пользовательские запросы и на них предлагая свои услуги и товары. Для этого потребуется глубокая проработка информационных страниц сайта и коммерческих страниц (лендингов и карточек товаров).
В заключение своего выступления докладчик назвал минусы представленной стратегии продвижения:
Которые, конечно же, просто меркнут по сравнению с плюсами:
Николай Чудинов: Незапрещенные рекомендации на примере больших сайтов
Далее с докладом выступил представитель поисковой системы Mail.ru Николай Чудинов, который рассказал о требованиях поисковых систем к сайтам, и как они соотносятся с требованиями самих владельцев сайтов, о сложности оптимизации больших данных, а также о SEO-мифах про порталы.
Требования владельца:
- обновляемый уникальный контент
- высокая скорость попадания в индекс
- короткий лаг от создания до получения трафика
- отсутствие любых технических ошибок (баги, аптайм, и т.д.)
- соблюдение UGC-политики (модерация + проверка форм)
- стабильное количество активных точек входа
- защита от внешних факторов
Требования поисковых систем:
Обязательные:
- скорость сканирования
- стабильный отклик
- доступность старых документов
- малый % ошибок (5хх, 4хх)
- уникальный контент
- отсутствие дубликатов
- разметка документа
Желательные:
- мобильная версия
- SSL
- разметка документа (профильные)
- эффективная карта параметров в url
- стабильная политика зеркал
- политика модерации UGC
Николай предлагает каждому владельцу большого сайта поинтересоваться у своего маркетолога:
- есть ли новички в сегменте интересующего рынка?
- как меняется количество точек входа и почему?
- какова динамика трафика по сегментам?
- если какой-то сегмент аудитории, вдруг будет потерян, то кто из конкурентов его подберет?
- если число LP будет увеличено в 2 раза, на сколько увеличится трафик?
- сколько LP приносят пользу?
- сколько тем в контенте, и какие из них приносят максимальный трафик и конверсию?
По мнению представителя поисковой системы, большой сайт, с позиции вебмастера - это ресурс, имеющий от 500 тыс. документов в индексе, количество сканированных страниц в день - от 30 тыс., количество точек входа не менее 20 тыс. в день, поисковый трафик от 300 тыс. в день, перепады week-трафика от 0,2 млн.
А вот у поисковой системы другое представление о больших сайтах:
- Большое множество текстовых документов (пример: Ответы@Mail.ru)
- Множественное использование фоновых, шумовых слов (контент соц. сетей)
- Пересечение тем в узком подмножестве документов (посты в FB)
- Восстановление иерархии тем коллекции (контент соц. сетей)
- Анализ и классификация тональности текстового документа (отзывы, твиты, и т.д.)
- Категоризация, классификация, обработка аннотированных текстовых документов
- Анализ и агрегирование новостных потоков на основе извлеченной семантической информации
- Организация работы фетчера (квоты и правила, пример: ^/[^/]*/[^/]*/page\-[0-9]+\.html$)
- Выявление дубликатов, очистка индекса (пример: соц. профили)
- Аппаратная подготовка в работе с большими данными
- Распределение нагрузки и суточное квотирование (мобильная версия + https)
С позиции machine learning, большой сайт – это:
- Сложно определить, к каким темам относится каждый документ (если нет RDF или общепринятых словарей hCard, hAtom и т.д.)
- Есть сложность определения числа статически различимых тем
- Частичное обучение (новое обобщение) на малых частях коллекции. Математические модели удобны, но полученные данные имеют крайне слабые лингвистические обоснования
- При большем числе тем относительная перплексия уменьшается по мере разреживания словаря. Это объясняется тем, что темы не одинаковы по мощности. При случайном разреживании словаря малые темы становятся статистически незначимыми и перестают выявляться
- При меньшем числе тем относительная перплексия увеличивается по мере разреживания словаря. Предположительно, это связано с тем, что тематическая модель вынужденно объединяет основные темы, различия между объединёнными темами становятся незначимыми, темы сближаются и становятся более похожи на униграммную модель коллекции.
Сложность заключается в том, что количество создаваемого контента на таких сайтах больше объема индексируемого. Там встречается неполная модерация UGC, большое количество дубликатов, пересечение разных типов разметки, пагинация и множественные сортировки, большое количество профилей пользователей и социальные графы, а также должен проводиться краулинг с учетом прав на video (geo ip).
К особенностям больших сайтов Николай отнес переезд на https, смену зеркал, скорость загрузки с учетом скорости сканирования (ночной обход), стабильность связки запрос-документ (ugc, мода, архив, потери индекса), запредельный js + CSS, множество типовых страниц, разные виды страниц в зависимости от sign in/out, много контента, много тем, много конкурентов, цена ошибки ~ N млн. документов.
Мифами и заблуждениями докладчик назвал следующие утверждения:
много статичного контента = стабильный трафик
большой индекс стабильнее
скоростью загрузки можно пренебречь
sitemap наше всё
много исключенных страниц, не мои проблемы
структура url на усмотрение тимлида
ответ 502/504, бот не человек - подождет
не писать access.log для краулеров
расширение семантики без актуализации коллекции
В конце своего выступления докладчик перечислил незапрещенные рекомендации для больших сайтов:
- Обязательная разметка документов, учитывая тип контента
- Запрет индексации потенциально слабых документов
- Запрет индексации документов с коротким жизненным циклом
- Учет динамики суточных квот краулеров с привязкой к сегментам сайта
- Не использовать новые домены (новый домен верхнего уровня)
- Не использовать домены нижнего уровня для увеличения коллекции документов и трафика
- Следить за нагрузкой DNS-серверов
- Не удалять документы по уведомлению (пример DMCA, не пиратский контент)
- Не создавать проблемы с просмотром сайта на мобильных устройствах
- Минимизация похожих документов в тематических корпусах
- Не использовать сленг или опечатки в аннотации и разметке
- Идентичность внутренних ссылок для всех версий сайта
- Не использовать в Landing Pages видео материалы, с geo ограничениями
- Не использовать HTTP-код 3xx внутри документов зеркал (не основного хоста)
- Хранить лог всех точек входа (источник поисковая система). Агрегировать данные в кластеры
- Следить за динамикой изменения количества проиндексированных, но не имеющих трафика документов
- Отклонять ссылки только если они действительно создают проблемы
Круглый стол
Первый день мероприятия по традиции завершился круглым столом, посвященным сегодняшней ситуации на рынке SEO. В обсуждении принимали участие Владислава Рыкова (vlada-rykova.com), Андрей Воропаев (Трилан) и Роман Морозов (Userator).
На круглом столе поговорили о сокращении доходов, сложностях с индексацией цен, необходимости либо больше зарабатывать на местном рынке, либо выходить на Запад. У клиентов сложности, и это не может не сказываться на тех, кто оказывает им услуги. Клиенты становятся более грамотными и хотят понимать, что происходит с их сайтом, за что они платят. Но есть и плюсы - появилась возможность нанимать хороших специалистов на более выгодных для работодателя условиях.
Коснулись и изменений в алгоритмах Яндекса. Ссылки по-прежнему работают, но не столько весом и анкором, а переходами по этим ссылкам. Обсудили накрутки поведенческих факторов, а также ситуацию, связанную с массовым наложением санкций Яндексом, по поводу которой высказался присутствующий в зале представитель поисковой системы Сергей Певцов.