Для достижения более глубокого индексирования документов и более глубинного проникновения поисковиков в массу документов, представленных в сети Интернет, Google начал эксперимент, который позволит поисковому боту проиндексировать скрытые от стандартного индексирования элементы HTML: формы, выпадающие и селективные меню.
За прошедшие несколько месяцев разработчиками были предприняты попытки просмотра некоторых элементов HTML страничек на предмет того, принесет ли их индексирование новую, ценную информацию.
Текстовые поля, контекстные селективные меню, выпадающие меню сайтов были протестированы на наличие ключевых слов, упоминающихся в тексте страницы. Если скрытый контент в меню и других разделах сайта представляет интерес и еще не индексирован поисковиком, возможно, Google добавит его в индексированные сайты.
Если формы защищены от индексирования, а также если вводимая информация может носить приватный характер, краулер ее не затронет.
Страницы, которые будут проиндексированы при помощи усовершенствованного метода краулинга, не заменят обычные страницы и им не будет присваиваться большая значимоть, поэтому этот метод не затронет ранжирование страниц.