Наверное киты, типа яндекса никак.
А вот региональные поисковики?
Сам являюсь держателем такого и я попросту замучался вечно находить новые форумы в которых схема генерации страниц и ссылок на эти страницы меня не перестает удивлять.
На одну и ту же страницу там по 50 разных ссылок, как правило это форумы типа phpbb с использованием sessionid в строке запроса.
У меня на малюсенький такой вот форум уходит по 100-200 мб.
Конечно после настройки всяких там вырезаний из строки запроса различного рода sess_id все приходит в норму, но вечно появляются какие-нибудь новые форумы у которых эта подстрока выглядит иначе.. или еще чего хуже.
Кстати, помимо проблем с объемом есть еще проблема с правильным подсчетом релевантности вот для таких серверов.

Есть какие-нибудь радикальные способы борьбы с этим безобразием?

Или я не по адресу?

__________________
**censored** - Самые оригинальные открытки в сети.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен