Центральный блог для вебмастеров Google анонсировал ряд улучшений, которые добавлены в состав инструмента для анализа файла robots.txt.
Новый анализатор опознает все декларации карты сайта и относительные ссылки. Теперь инструмент будет определять валидность всех url самого сайта и «родственных» url.
Кроме того, если ранее анализатор останавливался на первой найденной проблеме, теперь он анализирует и представляет их все.