Вчера общественность была потрясена сообщением о том, что некоторые частные SMS-сообщения, отправленные абонентами сотового оператора МегаФон с сайта компании, попали в поисковую выдачу Яндекса.
МегаФон «прояснил» ситуацию, сообщив, что в процессе взаимодействия сайта оператора и интернет-сервисов Яндекса произошел технический сбой, в результате которого в поисковую базу Яндекса и попало некоторое количество сообщений клиентов, отправленных через сайт МегаФона. При этом сотовый оператор подчеркнул, что сбой не затронул SMS-сообщения клиентов, отправленные через телефоны и другие мобильные устройства, таким образом, косвенно обвинив Яндекс в том, что именно через его интернет-сервисы и был осуществлен несанкционированный доступ к текстам сообщений, ибо ни в какие другие поисковые системы данная информация не попадала.
Сегодня пресс-служба российского поисковика в официальном сообщении еще раз подтвердила, что страницы с SMS с сайта МегаФона были публично доступны всем поисковым системам. Такое могло произойти из-за возможной ошибки администратора раздела отправки SMS, который по какой-то причине не запретил его индексацию в специальном файле robots.txt. В понедельник, во второй половине дня, специалисты МегаФона установили файл www.sendsms.megafon.ru/robots.txt в разделе отправки SMS своего сайта и закрыли его для индексации. В максимально быстрые сроки все страницы этого раздела стали недоступны в результатах поиска Яндекса.
Очир Манджиков, пресс-секретарь компании Яндекс: «Обращаем особое внимание на то, что URL-ы страниц раздела отправки SMS с сайта были доступны также в других поисковиках.
Яндекс индексирует только открытую часть интернета — те страницы, которые доступны при переходе по ссылкам без ввода логина и пароля. Страницы, индексация которых запрещена администратором сайта в файле robots.txt, Яндекс не индексирует, даже если они находятся в открытой части интернета. Это соответствует всем общепринятым нормам и правилам взаимодействия в интернете.
Стандарт, регламентирующий работу поисковых систем в интернете, включающий в себя описание файла robots.txt, был принят еще в 1994 году. Исходя из этих правил, работают все поисковые системы, они также хорошо известны администраторам большинства интернет-ресурсов. Вся информация, не запрещенная к индексации администратором сайта в файле robots.txt, доступна роботам поисковых систем. Никакой поисковый робот не может оценить соответствие содержания страниц законодательным нормам. И ответственность за размещение информации в открытом доступе лежит на том, кто её разместил или не защитил должным образом».
Особо хотим отметить, что никакие сервисы Яндекса не виноваты в утечке данных с сайта МегаФона. Ни Яндекс.Бар, ни Яндекс.Метрика не скачивают содержимое веб-страниц. Если страница закрыта для индексации в файле robots.txt или защищена логином и паролем, то она недоступна и поисковым роботам, то есть информация, размещенная на ней, никогда не окажется в какой-либо поисковой системе.
За сегодняшний день специалисты МегаФона не обращались в Яндекс за дополнительной информацией. Мы открыты к сотрудничеству и готовы присоединиться к внутреннему расследованию МегаФона по факту «технического сбоя» на сайте оператора.
Рекомендуем администраторам сайта МегаФона и веб-мастерам других сайтов изучить информацию о файле robots.txt и его корректном использовании».
Надеемся, что этот небольшой конфликт никак не отразится на отношениях между поисковиком и сотовым оператором. И программа по предоставлению бесплатного доступа к сервису Яндекс.Карты для абонентов МегаФон благополучно продолжит свое существование, и не будет вдруг «прекращена по инициативе оператора», как произошло с МТС, абоненты которой уже послезавтра смогут воспользоваться новой опцией «Безлимит для Яндекс.Карт» по 2 руб. в день.