Андрей Калинин, руководитель разработчиков Поиска Mail.ru, опубликовал третью, завершающую часть, большого исследования, касающегося архитектуры Поиска Mail.Ru и того, как она изменилась со времен поисковика GoGo, обслуживающего всего 10 запросов в секунду.
В этой части описаны процессы тестирования и внедрения HBase, переход на единую платформу вычислений Hadoop, вопросы индексации данных, а также организация процессов-демонов и релевантного метапоиска.
Подробности в блоге разработчиков Mail.ru Group
Напомним, в первой части Андрей рассказывал о том, как стартовал в 2010 году Go.Mail.Ru, и каким Поиск был до этого. Во второй - представил общую картину того, как работают другие поисковые системы, рассказал о поисковой дистрибуции и архитектурах подготовки данных больших поисковых систем.