Robots.txt – создать, заполнить, запретить

На фоне продолжительного ажиотажа вокруг попадания в поисковой индекс того, что должно быть скрыто от индексации, Яндекс сделал тематический ролик, в котором очень просто и понятно рассказывается о том, что такое Robots.txt

Смотрите составление простейшего файла robots.txt в режиме реального времени.

Robots.txt – предохраняйтесь!

Журналист, новостной редактор, работает на сайте с 2009 года. Специализация: интернет-маркетинг, SEO, поисковые системы, обзоры профильных мероприятий, отраслевые новости рунета. Языки: румынский, испанский. Кредо: Арфы нет, возьмите бубен.