Команда Почты Mail.ru опубликовала пост, в котором рассказала о том, как можно измерить качество поиска в Почте при помощи составления графиков.
Напомним, в январе этого года был опубликован пост о том, как создавался полнотекстовый поиск по Почте, и почему используемый ранее механизм «большого» поиска для Почты оказался не так уж хорош. В этом посте программист Почты Дмитрий Калугин-Балашов рассказывает, как можно определить, что новый поиск действительно лучше.
Общая схема поискового запроса выглядит так:
Основным параметром качества поиска является его скорость. Ее удобнее всего измерять на стороне фронтенда. Данные пишутся в лог, а специальный демон раз в 5 минут собирает очередную порцию логов со всех фронтендов и строит очередной отрезок на графике. Лучше всего иметь два графика с показателем скорости поиска – «пятиминутный» и «суточный».
«Пятиминутный» график отображает текущее состояние. Он может быть полезен для диагностики «острых» состояний, например, если после очередного обновления поиск внезапно стал работать не так, как ожидалось, а намного медленнее:
«Суточный» график позволяет обнаружить более глубокие и менее заметные на первый взгляд проблемы. К примеру, если перестроение индексов происходит слишком редко, то будет постоянно накапливаться некоторый «долг» - определенный объем не проиндексированных данных, по которым возможен только последовательный поиск. Этот «долг» будет виден на графике как медленная деградация по скорости в течение нескольких дней или недель:
Подобное поведение графика – сигнал к тому, что стоило бы пересмотреть политику работы планировщика индексаций в сторону того, чтобы индексировать чаще…
Читать далее в блоге Mail.ru на Хабрахабре