Макс Прин (Max Prin) опубликовал в Twitter сообщение следующего содержания: «Протестировано: нет необходимости прописывать директиву disallow в robot.txt, если тег noindex уже используется»:
TESTED: no need for disallow if using noindex in robots.txt. As long as @google supports it... @deepcrawl @JohnMu https://t.co/CtALatZhhB
— Max Prin (@maxxeight) 1 сентября 2015
Джон Мюллер согласился, что не стоит дополнительно закрывать страницу от индексации в robot.txt:
@maxxeight @google @DeepCrawl I'd really avoid using the noindex there.
— John Mueller (@JohnMu) 1 сентября 2015
Таким образом, если на странице есть тег meta name="robots" content="noindex", то нет смысла эту страницу через disallow закрывать ещё и в robots.txt.
Кроме того, об этом говорится и в Справочном центре Search Console: «Google не рекомендует закрывать страницу в robots.txt, если на ней уже есть атрибут noindex. Такая страница не будет отображаться в результатах поиска».