В новом обучающем видеоролике руководитель команды Google по борьбе с веб-спамом Мэтт Каттс (Matt Cutts) разъяснил вебмастерам, в чём для поисковой системы заключается разница между кодом состояния HTTP 404 Not Found («Не найдено») и 410 Gone («Удалён»).
Пользователя интересовал следующий вопрос: «Правда ли, что Google по-разному относится к страницам, отдающим коды ответа сервера 404 Not Found («Не найдено») и 410 Gone («Удалён»)?»
По словам представителя Google, оба кода состояния HTTP сигнализируют о том, что страница или документ не доступны на сервере. При этом код ответа 410 позволяет сделать вывод о том, что документ навсегда удален с сервера и шансов на восстановление этой страницы больше нет. Отсюда следует, что поисковик относится к двум разным кодам по-разному. Так, обнаружив, что сервер отдает код ответа 404, Google в течение суток не будет маркировать страницу в результатах выдачи как удалённой. Если же GoogleBot находит на странице ошибку 410 – то она автоматически помечается в результатах выдачи как удалённая.
В обоих случаях GoogleBot, спустя некоторое время, еще раз обращается к странице и перепроверяет, не бы ли тот или иной код ответа следствием какого-либо сбоя или ошибки на сервере.
Однако в целом схема работы Google такова: страницы, отдающие ошибку 404, не помечаются в выдаче как удалённые в течение 24 часов; а страницы, отдающие 410, - маркируются как удаленные мгновенно.