По словам Марии Моевой и Андрея Липатцева, прежде всего нужно понять, что если какие-либо документы содержат конфиденциальную информацию, следует хорошо подумать, прежде чем помещать их на веб-сервер.
Если конфиденциальные данные всё же должны быть размещены на сайте, их следует защитить, поместив в раздел, требующий регистрации и ввода пароля. Так как поисковые системы не располагают паролями и не имеют функциональной возможности для их ввода, доступ к данным остаётся возможным только для тех, у кого есть соответствующие права.
Если владелец сайта разместит информацию в Интернете и не ограничит доступ роботам поисковых систем для сканирования и индексирования, скорее всего, эта информация будет найдена, проиндексирована и появится в результатах поиска. В этом и заключается суть работы поисковых систем: находить, структурировать информацию и делать её доступной для пользователей. Поэтому, на тех, у кого есть веб-сайт, где размещены данные, отображение которых в результатах поиска нежелательно, и лежит огромная ответственность - установить соответствующие ограничения.
Подробней о предотвращении сканирования и индексирования конфиденциальных данных поисковыми системами читайте в блоге Google.Советы Яндекса о том, что делать, чтобы все не находилось, можно прочитать здесь.