Динамические страницы - как заставить поисковые системы их проиндексировать?

Основной причиной невозможности индексации динамически генерирующихся страниц
является наличие знаков “?”, “&”, “=” в адресах
этих страниц. Спайдеры поисковых систем просто не понимают этих символов, а
именно с их помощью передаются параметры вызова скриптов на сервере, которыми
и генерируется страница.

Следует еще раз подчеркнуть - проблемы возникают именно из-за наличия таких
символов. Сама страница генерируется на сервере и в броузер пользователя передается
чистый html. Расширение страницы, будь-то .cgi, .asp, .phtml,
.php и другие, никакого значения не имеет. Это относится и к страницам,
часть содержимого которых генерируется директивами SSI.

Приятным исключением, правда, выступает Яндекс,
который индексирует все такие страницы, не спотыкаясь на служебных символах.


К счастью, есть несколько способов обойти данную проблему. Рассмотрим два из
них.

Первый способ состоит в коренной переделке серверных скриптов, на которых работает
ваш сайт. Просто переделайте их так, чтобы избежать использования знаков “?”,
“&”, “=” в адресах. К примеру, старый адрес типа
будет выглядеть как Это довольно сложно,
если в составе разработчиков сайта нет программистов, но вполне оправданно,
если проект разрабатывается на собственной программной платформе.

Второй способ решения такой проблемы заключается в динамическом преобразовании
URL средствами вебсервера Apache. В основном, используется библиотека mod_rewrite,
которая, на основе прописанной вами в файле .htaccess маски, переопределяет
вызов определенной страницы как вызов основного скрипта с нужными параметрами.
Способы реализации этого, конечно же, различны для разных скриптов, хотя для
большинства популярных скриптов их можно найти на форумах поддержки.

Третий способ - используйте скрипты, генерирующие чистый html. Среди бесплатных
скриптов CMS (Content Management System) есть такие, как GreyMatter
и SSRTech, результатом работы которых является
чистая html-страница.


Если же ни один их указанных способов вам не подходит, или его реализация невозможна,
то не спешите отчаиваться. Помимо Яндекса, результаты работы скриптов индексируются
еще несколькими крупными поисковиками. Правда, воспользоваться этим несколько
сложно, но вполне возможно. Взгляните на сводную таблицу, где указано, как и
какие поисковики индексируют динамические страницы.


































Поисковая система


Описание


Стоимость индексации


Google


индексирует один уровень ссылок


бесплатно


Altavista


при прямом сабмите


бесплатно или платно


F.A.S.T., Alltheweb, Lycos


при прямом сабмите


платно


Inktomi


только при платной индексации


платно


Lycos (старый движок)


индексирует


бесплатно


В любом случае, кроме Google, страница должна быть прислана непосредственно
поисковику - они не индексируют ссылки на динамические страницы. Google пройдет
по ссылке на динамическую страницу, но, встретив там новые ссылки, по ним не
пойдет. Поэтому целесообразно присылать ему статическую страницу с ссылками
на динамические.


Удачи!

FAST включает вторую скорость

Перепечатано из SearchDay Поисковая система FAST не особо известна своими технологиями пока, однако вскоре положение должно измениться

Yahoo! начинает пользоваться листингами Overture

Yahoo! и Overture (бывшая GoTo.com) подписали соглашение об интеграции списка платных ссылок Overture в результаты поиска на Yahoo! Yahoo

PageRank: Больше ссылок хороших и важных

А. Шкондин

Дорвеи и поисковые системы

Итак, вы создали список ключевых слов, которые будете использовать для поисковиков

Altavista

Проиндексировано страниц - более 500 миллионов. Поддержка фреймов - использует тэг NOFRAMES. Поддержка метатагов - есть

Google - краткая характеристика

Google Проиндексировано страниц - более 3,000,000,000 страниц. Поддержка фреймов - полностью. Типы индексируемых файлов - PDF, CGI, ASP, JSP, CFM, PHP...