Ребята из Dodger Webstractions не очень довольны работой бесплатного паука Yahoo.
В прошлом месяце паук “облазил” всего 1196 страниц. Из всех этих страниц только 17 появились в базе данных на Yahoo. Из этих семнадцати страниц только одна была актуальной страницей с одной из тем на форуме.
Все это, по-видимому, сделано умышленно. Если Yahoo хочет заинтересовать пользователя услугами платного включения в свою базу данных, то зачем им делать бесплатного паука эффективным?
Опубликовано по материалам сайта Webstractions.