Тем не менее, запрет не имеет большого значения. Нормальная индексация требует полного доступа к firehose – потоку твитов в режиме, близкому к реальному времени, который уже есть и у Google, и у Яндекса.
Twitter заключил сделку с Google, чтобы облегчить поиск своих 140-символьных обновлений в интернете, в феврале этого года. Соглашение вступило в действие в мае, твиты появились в мобильной выдаче в США. В настоящее время Google индексирует на 466% больше твитов, чем в феврале.
UPDATE: На текущий момент запрет индексации установлен только для контента версии сайта: https://www.twitter.com. Для URL-а без «www» индексация осуществляется прежним образом.