Компания Yahoo запустила самое крупное приложение Apache Hadoop в мире. Yahoo! Search Webmap является Hadoop приложением, которое работает более чем на 10,000 основных линуксовых кластерах и помогает обрабатывать данные, используемые в каждом поисковом запросе Yahoo.
Построение Webmap начинается при индексировании страницы и позволяет создать базу данных всех страниц. Эти потоки данных затем обрабатываются алгоритмами машинного ранжирования и лежат в основе поиска от Yahoo.
По материалам John Batelle’s Blog