Форум сетевых администраторов - Как перенаправить пауков?

Форум сетевых администраторов (http://netadmin.ws/forum/index.php)
- VBulletin 3.x.x (http://netadmin.ws/forum/forumdisplay.php?forumid=74)
-- Как перенаправить пауков? (http://netadmin.ws/forum/showthread.php?threadid=10596)

Помещено Igor 26-04-2005 в 22:26:

Как перенаправить пауков?

Встала серьезная проблема: пауки сожрали 20 Гигов трафика в этом месяце.

Короче, ребята, подскажите. Нужно срочно сделать так, чтобы паук распозновался, и вместо страницы темы форума ему показывалась соответсвующая страница архива.

Попутно можно решить вторую задачу, чтобы человек зашедший с поиска в архив, сразу перебрасывался на реальнкю страницу форума.

Кто может помочь?

__________________
C уважением, Игорь
cblog.ru

Помещено miXei 28-04-2005 в 07:29:

Думаю, что запретить индексировать можно через .htaccess
а на Архив запрет не ставить.

А что касается автоматического перебрасывания, то поисковики вроде не любят такого.
То есть когда они будут индексировать твой архив и наткнуться на команду перебрасывания, то могут вроде не индексировать дальше.
(как на практике не знаю)

__________________
miXei.ru - Дискуссионный клуб

Помещено Exist 28-04-2005 в 20:33:

quote:
Думаю, что запретить индексировать можно через .htaccess

хм... еще бы на серваке наглухо заблокировать ip адреса поисковиков и дело с концом...
На счет индексации надо повозиться с robots.txt (на яндексе есть хорошее описание работы с ним)
На счет редиректа... на счет редиректа - по идее (моей) паук редиректы восспнимает как ссылки для индексации... а поскольку будет запрет стоять... в общем, мысля ясна.

Exist добавил 28-04-2005 в 20:55:40:
Или еще проще:
<META name="Robots" content="index,nofollow">
Указание индексации поисковыми роботами данного документа.
Может принимать значения:
ALL - индексировать всё.
INDEX - индексировать эту страницу.
FOLLOW - индексировать ссылки на этой странице.
NONE - не индексировать, игнорировать полностью.
NOINDEX - не индексировать, игнорировать эту страницу.
NOFOLLOW - не индексировать ссылки на этой странице.
---
правим шалоблы.. - как править. ей богу не знаю.. и как с метами поисковики работают - тоже не знаю. Проверять надо.

__________________
Non fingendum aut excogitandum sed inveniendum, quid natura faciat aut ferat.

Помещено Igor 29-04-2005 в 20:59:

�_ебяты, то что вы пишете это все ясно.
Как временное решение я так и сделал сейчас - через robot.txt запретил паукам лазить по страницам форума. Проверено, работает, вот смотрю сейчас 20 пауков находятся на сайте и все по архиву лазят.

Но идея была получше, надо средствами php определять поисковик или нет (как в online.php это делает), а потом взависимости от того поисковик это или просто посетитель одних перенаправлять редиректом с обыкновенных страниц в архив, а других наоборот с архива на обыкновенные страницы.

__________________
C уважением, Игорь
cblog.ru

Помещено Igor 06-05-2005 в 21:58:

Мда, обидно.

__________________
C уважением, Игорь
cblog.ru

Помещено miXei 07-05-2005 в 07:19:

Думаю, можно попробовать средствами php прописать условия, что если определенные ip, то выдавать редирект или определенный контент.

Очень сильно сомневаюсь, что поисковик пойдет по редиректу и вообще будет что-то индексировать, если у тебя будет редирект.

__________________
miXei.ru - Дискуссионный клуб

Формат времени GMT. Текущее время 10:22.

Показаны 6 сообщений на этой странице