Megaindex запускает алгоритм автоматического поиска зеркал

Команда сервиса Megaindex сообщила о скором запуске технологии автоматического поиска зеркал, что позволит очистить индекс от бесполезных ссылок.

Выявление зеркал работает на основе алгоритма SimHash. Алгоритм позволяет быстро находить сайты с идентичным контентом. Индексатор Megaindex в автоматическом режиме считает главным зеркалом тот домен, на который стоит подавляющее большинство внешних ссылок.

В настоящий момент в базе Megaindex содержится информация только по 10% зеркал, полное обновление базы займет еще около трех недель. Однако, уже сейчас пользователи системы могут видеть записи о том, что сайт является зеркалом к основному домену:

megaindex_mirror

В дальнейшем сайты-зеркала, которые в настоящий момент составляют 60% индекса, будут индексироваться в меньшем объеме или вовсе будут из индекса исключены. Исключение зеркал позволит сервису Megaindex использовать освобожденные ресурсы для увеличения полноты индекса и увеличения скорости его обновления. Также это уменьшит нагрузку для серверов, которые отдают содержимое сайтов, что плодотворно скажется на всей экосистеме интернета.

Напомним, в конце октября 2016 года Megaindex обновил алгоритм классификации запросов. Теперь система умеет выделять три уровня тематических категорий (ранее было только две) соответственно и количество категорий выросло в несколько раз.

Журналист, новостной редактор, работает на сайте с 2009 года. Специализация: интернет-маркетинг, SEO, поисковые системы, обзоры профильных мероприятий, отраслевые новости рунета. Языки: румынский, испанский. Кредо: Арфы нет, возьмите бубен.