Александр Садовский на NetPromoter '09: Поиск Яндекса в вопросах и ответах

На конференции Net Promoter 09 Александр Садовский, руководитель отдела веб-поиска компании Яндекс, выступил с кратким докладом и ответил на вопросы участников.

Тема выступления - “Поиск Яндекса в вопросах и ответах”.

“Чтобы обосновать тему доклада, расскажу, как я рассуждал, - начал свой доклад Александр Садовский, - Формулу ранжирования вы уже знаете, а если не знали, на первых докладах вам о ней рассказали. Учить как делать сайты – тоже, наверное, не нужно…”

Далее Александр Садовский представил 11 интересных фактов о поиске и его пользователях.

Первый факт: формула ралевантности не одна. Сергей Людкевич в свое время такую формулу написал - почти угадал, но сейчас она не работает. Сейчас можно просчитать только как конкретному сайту стать лучше.

Вес же ссылочных факторов снижается. За 2 года - вдвое, хотел сказать втрое, но цифра все-таки округляется до двух.

Второй факт: поисковые подсказки используют 45% пользователей.

Третий факт: по 6-8% запросов пользователи кликают только на результаты параллельных поисков

Четвертый факт: все пользователи равны, но не все одинаково активны. 18% самых активных любимых нами пользователей задают в 100 раз больше запросов.

Пятый факт: 5,6 % в сутки, 11% в месяц - региональный поиск (с галочкой искать по региону)

Шестой факт: число уникальных запросов на пользователя мало зависит от размера региона и равно 20-30 в месячном срезе. Вывод: каждый пользователь доносит свое разнообразие запросов

Седьмой факт: есть поиск по картинкам. Он умеет отличать дубликаты

Восьмой факт: мы выделили группы пользователей домашних и рабочих и решили, что у них будет разный график активности. Но… все пики совпадают. Единственное отличие: в будние дни домашние пользователи активны с 22 до 1 и выходные с 20 до 2 часов - но в остальном графики практически совпадают.

Девятый факт: и мы, и вы идентифицируем пользователей по кукам. Мы взяли репрезентативную выборку и поняли, что период распада куки - 2 месяца у 17% куки чередуются (разные браузеры + мобильный интернет).

Десятый факт: среднее количество поисковых систем, которые используют пользователи - больше 2.

Предпочитают 1 поиск - только 13% пользователей.

Одиннадцатый факт - самый интересный. Ашманов и партнеры пытались построить такой график, вот какой он на самом деле.

CTR ссылок в результатах поиска по вебу.

По графику видно, что CTR последней ссылки на страницах чуть-чуть выше чем предыдущих. Речь идет не о трафике. 11 позиция дает меньше трафика, чем остальные. Речь только о CTR

Cовершенно секретно - схема антиспама

Вы ребята умные, поэтому схема реальная, но не свежая - на конец 2007 года, но вот - можно посмотреть, как работает антиспам Яндекса.

Александр Садовский предложил участникам конференции сделать Яндекс удобней - выбрать фичу, которую в первую очередь добавят в панель вебмастера.

фича 1

понедельная история для запросов

фича 2

настройка регистра имени сайта

фича 3

ошибки скачивания url -ов из sitemap

фича 4

указание региона сайта

фича 5

указание адресной информация (в сниппете)

фича 6

список зеркал сайта

(Голосованием выбрали - в первую очередь реализовать ошибки скачивания url -ов из sitemap)

Ответы на вопросы:

Вопрос про график с СTR

Ответ: разница огромная по различным запросам. Если говорить по количеству позиций - 3-4, зависит от подсказок, 5 точно нее влазит целиком.

Вопрос: количество картинок дублированных может ли наносить вред сайту?

Ответ: у нас есть алгоритм, который помогает выявить дублированный контент, но если мы не уверены - то удалять мы не будем.

Вопрос: может ли владелец сделать что-то, чтобы обеспечить право первоисточника?

Ответ: только просить обратную ссылку

Вопрос - xml скоро отменят?

Ответ - в ближайшее время (месяцы) не отменят. Но мы считаем, что xml не лучший вариант, вот поиск по сайту - показал себя хорошо. Мы планируем всех вебмастеров при поиске по сайту перевести на такой поиск. Но кардинально прикрывать пока не планируем. Количество покупок xml в свое время было минимальным, поэтому мы развивать его не планируем. Затраты на процессинг не были оправданы.

Вопрос - дадите возможность легально парсить Яндекс?

Ответ - если цель парсинга противоречит интересам Яндекса - то мы это мы делать не будем

Вопрос - а если цель - проверка позиций?

Ответ - напрямую эта цель интересам яндекса не противоречит. Но так как это делают в основном оптимизаторы… Понимаете, нет смысла, если можно посмотреть глазами. Сейчас позиции вы можете видеть в яндекс-вебмастере, там это будет развиваться.

Вопрос - про ссылки. Нужно ли прятать ссылки и оформлять ее, ссылку, как естественную или оформлять на рекламную и ничего не бояться?

Ответ - бояться или нет - личный выбор. Если профессионал из Яндекса не может понять, что это ссылка неестественная - то здорово, ставьте таких побольше, другое дело, что это вам дорого (в деньгах) обойдется.

Ответ на второй вопрос. Приведу пример из книги Пелевина «Чапаев и пустота». Там есть момент, когда Чапаев рассказывает про Красную бабочку. Когда персонажу снится, что он бабочка и он не может понять, толи он действительно бабочка и ему снится, что он революционер или он революционер и ему снится, что он бабочка. Сайту может сниться, что он торгует ссылками, а может быть, и торговой площадке снится, что она нормальный сайт… Ну так возвращаясь к книжке, там Петька спрашивает Чапаева - что было дальше? - Поставили к стенке и разбудили. - А он? – Ну, наверное, полетел дальше…

(смех в зале)

Вопрос - 3 марта выпали 4 миллиона страниц - что произошло?

Ответ - речь шла о базе зеркал. Мы научились определять дубликаты. В итоге мы не зафиксировали падения хороших сайтов. Кардинально ничего не поменялось. Если вам кажется, что пропал нормальный качественный сайт - пишите.

Вопрос - естественная ссылка от seo-ссылки отличается ссылочными связями или здесь отличие - что-то другое?

Ответ - что-то другое

Вопрос - сейчас идет большая ставка на обучение алгоритма, асессоры + взвешивание факторов. Не может случиться, что положительные факторы будут влиять отрицательно?

Ответ - нет ограничений для проверки факторов, но есть контрольные точки. У нас сотни размеченных запросов. Незначимые факторы выкидываются и в формуле остаются только значимые факторы.

Вопрос - TF и DF должны быть более значимыми факторами?

Ответ - нельзя одновременно использовать автоматическое и ручные обучение. Иначе будет в итоге просто ручное обучение. Мы не идем по этому пути. Есть тест здравого смысла. Но безусловно меняется и наш взгляд на этот текст. Нам же не нужно настраивать в ручную сотни факторов. В ручную расставить веса человек не сможет. Кстати, в этом году конкурс интернет-математика 2009 предлагает такое задание: попробовать настроить формулу так, как это делает Яндекс.

Вопрос - про Википедию. Откуда у Яндекса такая любовь к Википедии? Почему другие источники (словари) не выводятся?

Ответ - если посмотреть на оценки ассесоров - то окажется, что на самом деле очень мало сайтов являются классным ответом на запрос. И Википедия - один из них. При этом, Википедия - энциклопедия с хорошей, современной лексикой. Искусственно мы его не поднимаем наверх.

Вопрос - про сниппеты из либ.ру взятые не из кода страницы

Ответ - да, есть отдельные алгоритмы которые обрабатывают часть запросов и позволяют выдавать их в лучшем виде. О каких-то зонах речь не идет.

Ответ на вопрос про асессоров - у нас есть много настроек взятых из разметок асессоров, у выбранных сайтов есть особенности, и эти особенности у валидных сайтов просто в итоге становятся более весомыми.

Вопрос - временной фактор

Ответ - влиять можно на все, при определенной степени просветления… Факторов временных много. Количество факторов возросло, но про влияние я не могу сказать. Если этот фактор сейчас влияет на релевантность, в формуле он будет.

Ответ на следующий вопрос про асессоров - у асессоров есть возможность находить соответствующие запросу сайты разными путями и есть возможность вручную добавлять сайты. При этом, асессоры замотивированы добавлять сайты вручную. Фактически, они не смотрят существующую выдачу и не размечают конкретно ее - у них есть выбор несколько источников. Поиск Рамблера, поиск Мейла, поиск Гугла, каталоги, общая эрудиция, кругозор. Систематического искажения тут нет. Разметка идет по очень многим запросам. И по частотным, и нет.

Вопрос - как не специалисты оценивают контент узкотематического сайта и как стать асессором?

Ответ - к асессорам нет требований по образованию, но они совершенно разные. Но дело в том, что запросы даются точные. Например, продажа плит в омске. И кроме понимания, написана правда или нет - есть еще объем и вообще здравый смысл.

Вопрос - когда будет Анадырь?

Ответ - веселье будет в марте

Вопрос - мнение клиента - не все слова, по которым мы продвигаемся, выпадают в списке подсказок, при этом слова эти правильные, наилучшим образом характеризующие информацию и так далее.

Ответ - у яндекса есть принцип - мы не учим аудиторию.

Вопрос - вы стремитесь не делать ничего руками (настройка поиска). Значит ли это, что санкции не накладываются в ручном режиме.

Ответ - они и сейчас накладываются не в ручном режиме. Ручной - это корректировка автомата. Ручных исключений мы стараемся не вносить

Вопрос - когда передается асессору запрос - ему передается сайт или страница, или запрос?

Ответ - у нас есть разметка страниц и у нас очень много разметок. Есть критерии к сайту. Глядя на конкретный урл он должен оценить и сайт (и навигацию), опубликовать критерии не можем. Список секретен.

Вопрос - Директ конкурент оптимизаторов. Какое может оказывать влияние Директ на вас?

Ответ - на поиск не влияет, при этом еще Директ обижается, если поиск его ущемляет. Мы очень тщательно все просчитываем. И менять местами колонки не планируем.

вопрос - расширенный поиск не работает. В вебмастер панели нельзя посмотреть скачанные Яндексом файлы и сравнения с тем, что в индексе. Чтобы посмотреть реальные ошибки

ответ - ошибки неудачного скачивания мы стараемся заносить. Специально парсить терабайты индексации, чтобы что-то выдавать в панели вебмастера - нет

вопрос - отрицательные факторы у ссылок есть?

ответ - есть и отрицательные и положительные факторы.

вопрос - что есть уникальность?

ответ - уникальность не надо воспринимать как отличие текста а от текста б. Уникальный текст - который дает новую информацию. Например, так ведь работает и БСЭ - в конце каждой статьи БСЭ стоит список источников.

ответ на вопрос про группы запросов: две классификации запросов - темы (литературный, например) и прагматики (шахматы - онлайн партнер, литература и прочее. Тема одна прагматики разные.

Вопрос - как ставится фильтр аффилированности и как снять?

Ответ - это нормальное поведение системы. Удаление дублей по снипетам давно работает. Иногда привязываются сайты, которые очень похожи. Делайте сайты непохожие на другие.

вопрос - вебархив или сохраненная копия может быть доказательством первоисточника?

ответ - если у вас есть и то и другое, упоминайте в письме об этом. Но надо понимать, что вебархив и сохраненная копия - все это зависит от обхода робота, ошибка может быть.

Обзор подготовила Катерина Баукина

Игорь Ашманов: Доля Google на поисковом рынке перестанет расти

На пресс-завтраке, организованном компанией «Ашманов и партнеры» www.ashmanov...

Тренды американского рынка интернет-маркетинга, или Будущее поискового продвижения

Докладчик: Джеффри Пруитт (президент SEMPO, исполнительный вице-президент iCrossing) Поисковики являются средствами универсальными и абсолютно доступными для всех

Федор Вирин Кто и чего хочет от поисковых систем.

Обзор подготовила Катерина Баукина Что мы сделали при данном исследовании - мы взяли все запросы gogo...

Стенограмма круглого стола Netpromoter'09

Участники круглого стола конференции NetPromoter 09: Райцин Михаил -Miralinks, Miralab, Ткачев Василий - All in Top, Inetessentials Людкевич Сергей - Techart Пошибалов Евгений...

Константин Леонович на NetPromoter 09: “Ссылки, нюансы и особенности работы с ними”. Часть I

Внутренние факторы эффективной покупки ссылок Константин Леонович, менеджер по работе с ключевыми партнёрами Sape...

Константин Леонович на NetPromoter 09: “Ссылки, нюансы и особенности работы с ними”. Часть II

Факторы конкуренции и доноров при покупке ссылок. Автоматизация работы Значимым фактором эффективной покупки ссылок является конкуренция