Google представил новый анализатор robots.txt

    Центральный блог для вебмастеров Google анонсировал ряд улучшений, которые добавлены в состав инструмента для анализа файла robots.txt.

    Новый анализатор опознает все декларации карты сайта и относительные ссылки. Теперь инструмент будет определять валидность всех url самого сайта и «родственных» url.

    Кроме того, если ранее анализатор останавливался на первой найденной проблеме, теперь он анализирует и представляет их все.

    Источник

    Основатель Searchengines.ru. С 2005 по 2014 год работал генеральным директором компании "Яндекс.Украина". Основатель и директор крупнейшего коворкинга Одессы — "Терминал 42". Ведет блог, участвует в подкастах. Больше ничего не умеет.