Краулеры Ahrefs теперь обрабатывают страницы и выполняют JavaScript

303

Начиная с прошлого месяца, краулеры Ahrefs стали обрабатывать веб-страницы и выполнять JavaScript. Об этом сообщается в официальном блоге компании. Ранее они могли только сканировать обратные ссылки, найденные в HTML-коде.

Ahrefs стал первым проектом, который внедрил эту функциональность. Проведённые командой тесты показали, что краулеры Ahrefs обрабатывают страницы так же, как и Google.

Что касается выполнения JavaScript, то оно производится только в том случае, если страница имеет более 15 ссылающихся на неё доменов. Для выполнения этой работы у Ahrefs выделено около 400 серверов.

Напомним, что в прошлом году разработчики проекта значительно расширили функционал инструмента Keywords Explorer.

Редактор-переводчик. Специализируется на западном интернет-маркетинге и SEO. Освещает события в этой области с 2014 года.