Веб-мастера жалуются на краулер Bing

1

По сообщению издания Search Engine Roundtable, от многих веб-мастеров поступают жалобы на чрезмерную интенсивность краулинга страниц со стороны робота поисковой системы Bing. Поисковый краулер Microsoft, который теперь называется BingBot, и ранее вызывал нарекания со стороны владельцев сайта из-за слишком поверхностного индексирования и клоакинга.

Последние жалобы были вызваны появлением на страницах сайта одновременно нескольких ботов с разными IP-адресами, которые непрерывно выполняли краулинг страниц сайтов и перерасходовали ресурсы сервера, на котором находились сайты. По сообщениям некоторых веб-мастеров, единственным средством борьбы с ботами была блокировка до 8-10 различных IP-адресов.