Новая архитектура поиска Rambler: введено ежедневное обновление базы

На Rambler введена в строй новая версия поисковой машины, которая принципиально отличается от предыдущей по двум основным параметрам. Во-первых, значительно увеличилась скорость поиска; во-вторых, появилась возможность оперативного обновления поискового индекса. Если раньше индексная база обновлялась в среднем раз в месяц, то теперь, благодаря новой архитектуре поисковой системы, обновление может происходить каждый день, и даже несколько раз в день.

После изменения механизма работы поисковой машины, в течение двух месяцев последовательно перестраивались все компоненты системы. Вначале был запущен новый индексатор, затем технология автоматической доставки данных на поисковые сервера. В результате с середины июля индекс стал пополняться ежедневно.

С момента создания поисковой машины и до недавнего времени индекс состоял из двух больших частей, одна из которых использовалась для поиска, а другая - для формирования цитат и подсветки найденных слов запроса. Копии этих частей размещались соответственно на поисковых и цитирующих серверах. Такая архитектура позволяла поднимать по запросу все имеющиеся данные и проводить поиск и ранжирование, опираясь на полную информацию о документах. Однако обновление индексной базы на всех серверах одновременно было непростой и трудоемкой процедурой. Кроме того, с ростом Интернета увеличивался и размер индекса, что приводило к замедлению поиска. Поэтому было принято решение изменить структуру поисковой системы. В новой версии индексная база разбита на восемь частей. Семь из них представляют собой поисковые индексы, каждый из которых построен по седьмой части русскоязычного Интернета. Ежедневно обновляется одна из частей индекса. Таким образом, с момента скачивания страницы роботом до ее появления в поиске проходит от 2 до 8 дней.

Восьмая часть индекса представляет собой <быструю базу="">, постороение которой занимает всего два часа. В быструю базу входят страницы, содержащие счетчик Тор100. Каждый раз, когда в рейтинге Тор100 появляется новая страница, которой еще нет в индексе, она отправляется в очередь на обработку. Перед обработкой страницы фильтруются, из них отбираются наиболее посещаемые. В настоящее время быстрая база обновляется два раза в сутки, однако в ближайшее время планируется обновлять ее чаще.

Поиск по всем восьми базам осуществляется параллельно, результаты поиска объединяются. За счет этого поиск происходит в несколько раз быстрее по сравнению с поиском по монолитной индексной базе. Каждая из семи частей основной базы размещена на семи серверах. Такое распределение обеспечивает устойчивость и стабильность работы системы при повышении нагрузки или авариях. В подобных случаях из результатов поиска не пропадают соответствующие части индекса, так как поток запросов динамически перенаправляется на наименее нагруженные машины.

В результате поисковая система Рамблер содержит актуальную информацию обо всех событиях, представленных в сети. Поэтому если что-то сегодня обсуждалось на страницах Интернета, на следующее утро это можно найти в поисковой базе.

Google объявляет второе соревнование для программистов

Поисковая система Google объявила о проведении Google Code Jam 2003 - онлайнового соревнования программистов с главным призом в 10 тысяч долларов и возможное трудоустройство в...

Searchengines.ru переносит платную рассылку новостей на базу информационного канала Subscribe.ru

Интернет-проект Searchengines.ru, крупнейший русскоязычный ресурс, посвященный поисковым системам и вопросам оптимизации сайтов, объявляет о переносе выпуска платной рассылки...

Google тестирует Related Searches

На этой неделе рядом обозревателей было обнаружено появление на результатах поиска Google дополнительной строки Related Searches, в которой подбираются похожие по смыслу...

Новый робот - Overture-WebCrawler

На прошлой неделе ряд вебмастеров обнаружил в лог-файлах своих сайтов следы посещений нового робота

Новая архитектура поиска Rambler: введено ежедневное обновление базы (обновлено)

На Rambler введена в строй новая версия поисковой машины, которая принципиально отличается от предыдущей по двум основным параметрам

FindWhat пересматривает свое намерение объединиться с Espotting

Один из крупнейших PPC-поисковиков, FindWhat...