Начиная с прошлого месяца, краулеры Ahrefs стали обрабатывать веб-страницы и выполнять JavaScript. Об этом сообщается в официальном блоге компании. Ранее они могли только сканировать обратные ссылки, найденные в HTML-коде.
Ahrefs стал первым проектом, который внедрил эту функциональность. Проведённые командой тесты показали, что краулеры Ahrefs обрабатывают страницы так же, как и Google.
Что касается выполнения JavaScript, то оно производится только в том случае, если страница имеет более 15 ссылающихся на неё доменов. Для выполнения этой работы у Ahrefs выделено около 400 серверов.
Напомним, что в прошлом году разработчики проекта значительно расширили функционал инструмента Keywords Explorer.
