Форум сетевых администраторов - Правильный файл robots.txt

Форум сетевых администраторов (http://netadmin.ws/forum/index.php)
- Веб-сайт (http://netadmin.ws/forum/forumdisplay.php?forumid=25)
-- Правильный файл robots.txt (http://netadmin.ws/forum/showthread.php?threadid=9395)

Помещено Evg 23-08-2004 в 04:03:

Правильный файл robots.txt

User-agent: *
Disallow: /cgi-bin/
Disallow: /dump/
User-agent: Yandex
User-agent: StackRambler
User-agent: Aport
Disallow: /eng/

Вот сам файл.
Все роботам зампретить индексацию /cgi-bin/ и папки /dump/
Яндексу, Апорту и �_амблеру запретить индексировать директорию /eng/

Все правильно?

Помещено Elena_NA 12-09-2004 в 12:48:

User-agent: *
Disallow:
User-agent: *
Disallow: /cgi-bin/
Disallow: /dump/
Disallow: /eng/

запрещение всем роботам индексации твоих папок, и разрешение всем робтам индексировать твой сайт

Помещено Evg 12-09-2004 в 15:51:

Ясно, но мне нужно что бы выборочно именно Яндекс, �_амблер и Апорт не индексили папку eng А всем роботам запретить папку cgi-bin

Помещено Moltex 09-03-2005 в 15:00:

или еще вопрос:
как запретить гугле посещать твой сайт вобще ?

Помещено Nogrogomed 20-03-2005 в 20:33:

А можете подсказать, как сделать так, чтобы твой сайт проиндексировали?

Помещено Falcon 21-03-2005 в 08:26:

добавить твой сайт в БД поисковика. У яндекса, например, здесь:
http://webmaster.yandex.ru/

Помещено KLEVO 17-08-2005 в 17:37:

Щя попробую дать ссылку на нормальное описания роботс.

Помещено RaZEr 17-08-2005 в 19:01:

http://www.robotstxt.org/

__________________
The time was broken ...

Формат времени GMT. Текущее время 02:29.

Показаны 8 сообщений на этой странице