Секреты индексации динамических страниц в поисковых системах

Думаю, никто не будет спорить, что реклама в поисковых системах - один из самых эффективных и дешевых способов раскрутки сайта. Именно поисковики (во всяком случае, их подавляющее большинство) готовы бесплатно проиндексировать Ваш сайт и показывать ссылки на него людям, которые его ищут. При этом Вы получаете очень качественный трафик, привлекая на свой сайт много заинтересованных посетителей. Все бы хорошо, но неожиданно появляется очень серьезная проблема: многие поисковики отказываются индексировать динамические страницы Вашего сайта. Самое приятное для нас (оптимизаторов) то, что это происходит не потому, что они динамические, а потому, что поисковый робот так думает. Но мы можем заставить его думать иначе.

Этой проблемой лично я занялся, когда начал раскручивать свой каталог товаров лучших web-магазинов webshops.ru. PHP + MySQL хорошо сказывались на развитии каталога, но очень плохо, на желании поисковиков индексировать мой сайт. Rambler и Aport напрочь отказались индексировать больше одной (главной) страницы моего сайта index.php. Отсюда вывод, расширение не оказывает никакого влияния на индексацию, а не проиндексировались ТОЛЬКО страницы, содержащие “?”, “&” и “=” в URL.
Вот мы вплотную подошли к теме статьи, нам придется менять URL всех страниц и приводить его в нормальный вид.

Я знаю 4 способа, как это сделать.

1. Самый ламерский способ :). Мы пишем

ErrorDocument 404 script.php

в файле .htaccess, где script.php - файл, в котором обрабатывается запрошенный URL и выводится нужная страница. Способ основан на том, что вы можете выдумать любой URL по которому Вы потом однозначно можете отобразить нужную страницу, обработав его (URL) скриптом, который будет вызван, если страница, на которую Вы ссылаетесь не существует.

2. В httpd.conf или .htaccess мы пишем строку

Options Multiviews

Теперь сервер при запросе URL вида <адрес директории="">/one/two/three будет искать файл one с любым расширением (например one.php), который Вы заблаговременно помещаете в <адрес директории="">. А уже в one.php разбираем переменную окружения $REQUEST_URI и показываем нужную страницу.

3. В httpd.conf или .htaccess мы пишем

ForceType application/x-httpd-php

Этим мы говорим серверу, что если будет запрос <адрес директории="">/index/one/two, то ему следует считать, что index, это не папка, а файл. Кроме того это еще и PHP-скрипт. Естественно Вам нужно будет создать файл index (без расширения), в котором Вы будете разбирать все запросы.

4. И наконец самый мощный инструмент подмены URL-ов программный модуль mod_rewrite. В httpd.conf или .htaccess мы пишем

RewriteEngine On
Options +FollowSymlinks
RewriteBase /
RewriteRule ^index/(.*)$ /index.php/$1

Этим мы запускаем сам модуль, устанавливаем действие модуля только на текущий каталог, определяем корневой URL и говорим серверу, что при запросе пользователя index/<какой_угодно_текст> пользователь будет перенаправлен по адресу /index.php/<какой_угодно_текст>. Вроде практической выгоды от такого перенаправления нет, но, если мы будем использовать пункты 3 и 4 одновременно, то может получиться интересный результат. На своем сайте (webshops.ru) я сделал так:

RewriteEngine On
RewriteBase /
RewriteRule ^index/(.*)$ /index.php/$1

ForceType application/x-httpd-php

Т.е. включил механизм mod_rewrite, определил корневой URL, сказал серверу изменять все запросы index/<какой_угодно_текст> на index.php/<какой_угодно_текст> и сказал, что такой URL нужно принять за PHP-скрипт, выполнив index.php. Просто и со вкусом :).

Теперь, например, написав в строке броузера http://webshops.ru/index/webshops, Вы (сами этого не подозревая) будете перенаправлены на http://webshops.ru/index.php/webshops, а этот запрос будет выполнен как http://webshops.ru/index.php с той лишь разницей, что в переменной $REQUEST_URI окажется “/index/webshops”, что после благополучной обработки скриптом, покажет Вам список web-магазинов с их описаниями :).

Такие URLы придутся по вкусу любому поисковому роботу (да и с эстетической точки зрения они выглядят лучше). Остался последний штрих.

В тексте скрипта, до вывода на экран чего-либо (!) мы отправляем в header две волшебные строчки:

Header(“HTTP/1.0 200 OK”); //строка нужна только для п. 1
Header(“Last-Modified: “.gmdate(“D, M d Y H:i:s”,filemtime(“index.php”)).” GMT”); //строка пригодится в любом случае

Первая строчка говорит роботу, что это обычная страница, а вторая - прописывает дату модификации, основываясь на дате последнего изменения index.php (файл, которым Вы обрабатываете все запросы).

Если у Вас не отображаются картинки на странице, Вы можете прописать абсолютные пути к каждой картинке. Но лучше вместо этого прописать в выдаваемой страницы строчку . Этим Вы скажете броузеру, что если посетитель забрел в виртуальную директорию (а именно так называются директории, которые мы только что научились делать), следует отсчитывать путь к картинке не от нее (ее нет :)), а от http://ваш_сайт.ru/.

Все! Теперь Вы готовы покорять поисковики всеми страницами Вашего сайта в полном составе. Желаю удачи!

Cage - Webshops.ru

Ключевые слова - теория

Термин ключевые слова далее будет относиться к словам, входящим в текст HTML документа и в предполагаемый запрос пользователя поисковой системы, ищущего информацию по тематике...

Статистика запросов по теме поисковые системы

Исследование проводилось в июне 2002

Алгоритмы Поисковых Машин: Анализ &laquo;Авторитетности&raquo; Ссылок

Ни для кого не секрет, что ссылки с хороших сайтов увеличивают трафик...

Page Rank теперь продают

В условиях постоянного роста популярности поисковой системы Google, как на западе, так и среди русскоязычных пользователей, владельцы сайтов постоянно пытаются повысить Page...

Аккуратно работаем с Индексом Цитирования (ИЦ)

Самый простой способ поднять ИЦ – это обмен ссылками между сайтами. Это должен быть самый первый шаг к повышению ИЦ

Проектирование удобных доменных имен

“URL” (Uniform Resource Locator) в Интернет представляет собой обозначение определенного ресурса (например, страница, сайт или сервер