Форум сетевых администраторов (http://netadmin.ws/forum/index.php)
- Веб-сайт (http://netadmin.ws/forum/forumdisplay.php?forumid=25)
-- Как поисковики "борятся" с форумами? (http://netadmin.ws/forum/showthread.php?threadid=8284)

Как поисковики "борятся" с форумами?

Наверное киты, типа яндекса никак.
А вот региональные поисковики?
Сам являюсь держателем такого и я попросту замучался вечно находить новые форумы в которых схема генерации страниц и ссылок на эти страницы меня не перестает удивлять.
На одну и ту же страницу там по 50 разных ссылок, как правило это форумы типа phpbb с использованием sessionid в строке запроса.
У меня на малюсенький такой вот форум уходит по 100-200 мб.
Конечно после настройки всяких там вырезаний из строки запроса различного рода sess_id все приходит в норму, но вечно появляются какие-нибудь новые форумы у которых эта подстрока выглядит иначе.. или еще чего хуже.
Кстати, помимо проблем с объемом есть еще проблема с правильным подсчетом релевантности вот для таких серверов.

Есть какие-нибудь радикальные способы борьбы с этим безобразием?

Или я не по адресу?

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.