Новостной поисковик Google News представил функцию рекраулинга, которая поможет системе предоставлять пользователям максимально свежий контент с учетом возможных обновлений, комментариев и исправлений.
Большинство правок вносятся в новости сразу после публикации, чтобы учесть эти правки, краулер Google будет посещать новые новости несколько раз. Найдя новую статью, краулер будет многократно посещать ее в первый день публикации и индексировать все комментарии, дополнения и исправления, которые были внесены в текст. Затем, частота посещения страницы снизится.
Новая технология позволит не только получить максимум актуального новостного контента, но и снизить количество устаревших заголовков и ссылок, которые не ведут на страницу новости. Для редакторов данная функция также представляет интерес, так как позволяет отредактировать возможные неточности и опечатки и эти правки будут учтены Google News.
По материалам ISEdb