Долговременные поиски в области какой-либо ограниченной темы наводят на мысль об автоматизации данного процесса. На помощь, в таких случаях, приходят краулеры – программы которые отслеживают информацию в определенном информационном сегменте интернета.
Одним из примеров подобных краулеров может стать новый проект – Searchbots.net, который является сайтом, предоставляющим услуги создания индивидуальных краулеров, настроенных под интересы и потребности каждого пользователя.
Введя свои собственные настройки, каждый пользователь получает уникальный и мощный инструмент для поиска по интернету, который не связан с каким-либо определенным поисковиком, что дает ему большую свободу и делает выявление новых документов более вероятным.
В то время как краулеры per se не являются новостью на рынке Интернет-технологий, готовый краулер, настраивающийся под индивидуальные запросы пользователя – действительно новинка.