Веб-мастера жалуются на краулер Bing

По сообщению издания Search Engine Roundtable, от многих веб-мастеров поступают жалобы на чрезмерную интенсивность краулинга страниц со стороны робота поисковой системы Bing. Поисковый краулер Microsoft, который теперь называется BingBot, и ранее вызывал нарекания со стороны владельцев сайта из-за слишком поверхностного индексирования и клоакинга.

Последние жалобы были вызваны появлением на страницах сайта одновременно нескольких ботов с разными IP-адресами, которые непрерывно выполняли краулинг страниц сайтов и перерасходовали ресурсы сервера, на котором находились сайты. По сообщениям некоторых веб-мастеров, единственным средством борьбы с ботами была блокировка до 8-10 различных IP-адресов.

Google Maps 5.7 для Android

Компания Google выпустила новую версию картографического сервиса Maps 5.7 для операционной системы Android

Безопасный поиск от Яндекса

После того, как вебмастер обнаруживает, что его сайт заражен, обычно перед ним возникает задача как можно скорее найти и удалить вредоносный код

Обновленный дизайн Google: новые впечатления, новые возможности

Как вы, наверное, заметили, продукты Google стали выглядеть несколько иначе

Рамблер-Яндекс-Бегун: забег на длинную дистанцию

Игорь Ашманов, генеральный директор компании «Ашманов и партнеры»: «Сведения о том, что в Рамблере решили заменить поисковый движок, поступали изнутри компании по разным...

Сергей Людкевич: «Персонализация поиска не убьет SEO»

Сергей Людкевич - руководитель отдела аналитики «ВебЭффектор» - рассказывает о пользовательских факторах, дает их классификацию, делится секретами продвижения в социальных...

Яндекс раскрывает секреты борьбы с вредоносными кодами

Обфускация программного кода – это любые действия, усложняющие его анализ, в том числе: 1