«Вы можете ускорить обработку последней версии robots.txt Google (обычно, мы сканируем его раз в день в зависимости от конкретного сайта). Для этого нужно использовать Инструмент проверки файла robots.txt в Search Console. Здесь вы увидите текущую, уже проиндексированную версию, и сможете отправить в Google изменённый файл для повторного сканирования», - пояснил Мюллер в ответ на вопрос одного из вебмастеров о проблемах, связанных с robots.txt.
Как отправить новую версию файла в Google, подробно рассказано в Справочном центре.
Напомним, что Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex.