На фоне продолжительного ажиотажа вокруг попадания в поисковой индекс того, что должно быть скрыто от индексации, Яндекс сделал тематический ролик, в котором очень просто и понятно рассказывается о том, что такое Robots.txt
Смотрите составление простейшего файла robots.txt в режиме реального времени.
Robots.txt – предохраняйтесь!