Платон Щукин опубликовал в своем блоге пост, в котором подробно рассказал о том, что должен делать вебмастер для того, чтобы страницы его сайта были успешно проиндексированы роботом, и, как следствие, могли появиться в поиске Яндекса и находиться по соответствующим запросам.
Алгоритм действий несложен и состоит из пяти шагов:
1. Проверка HTTP-заголовков, передаваемых сервером
2. Создание файла robots.txt и запрета в нем обхода технических и служебных разделов сайта
3. Проверка возможности проставления ошибочных ссылок на сайт
4. Работа с дублями и динамическими страницами
5. Создание файла sitemap
Подробно о каждом из перечисленных процессов, а также об инструментах, которые необходимо использовать, читайте здесь