 |
 |
Форум сетевых администраторов » Веб дизайн » Веб-сайт » Правильный файл robots.txt
| Автор |
| Тема |
 |
|
 |
|
|
|
Участник+
Зарегистрирован: Jul 2003
Место проживания:
Публикаций: 77
Статус:  |
User-agent: *
Disallow: /cgi-bin/
Disallow: /dump/
User-agent: Yandex
User-agent: StackRambler
User-agent: Aport
Disallow: /eng/
Вот сам файл.
Все роботам зампретить индексацию /cgi-bin/ и папки /dump/
Яндексу, Апорту и _амблеру запретить индексировать директорию /eng/
Все правильно?
Сообщить модератору об этом сообщении | Предупреждение | IP: определен
|
23-08-2004 04:03 |
|
|
Участник
|
User-agent: *
Disallow:
User-agent: *
Disallow: /cgi-bin/
Disallow: /dump/
Disallow:... |
[сооб. #70593]
12-09-2004 12:48 |
|
Участник
Зарегистрирован: Sep 2004
Место проживания:
Публикаций: 5
Статус: |
User-agent: *
Disallow:
User-agent: *
Disallow: /cgi-bin/
Disallow: /dump/
Disallow: /eng/
запрещение всем роботам индексации твоих папок, и разрешение всем робтам индексировать твой сайт
Сообщить модератору об этом сообщении | Предупреждение | IP: определен
|
|
12-09-2004 12:48 |
|
|
Участник+
|
| Ясно, но мне нужно что бы выборочно именно... |
[сооб. #70599]
12-09-2004 15:51 |
|
|
Участник
|
или еще вопрос:
как запретить гугле посещать... |
[сооб. #75123]
09-03-2005 15:00 |
|
|
Участник
|
| А можете подсказать, как сделать так, чтобы... |
[сооб. #75362]
20-03-2005 20:33 |
|
|
Модератор
|
| добавить твой сайт в БД поисковика. У яндекса,... |
[сооб. #75367]
21-03-2005 08:26 |
|
|
Участник
|
| Щя попробую дать ссылку на нормальное описания... |
[сооб. #77937]
17-08-2005 17:37 |
|
|
|
Формат времени GMT. Текущее время 05:24.
|
Правила форума:
Вы не можете создавать новые темы.
Вы не можете отвечать на существующие темы.
Вы не можете прикреплять файлы.
Вы не можете редактировать свои сообщения. |
HTML теги выкл.
Спец. код вкл.
Смайлики вкл.
[IMG] тег выкл.
|
|
|
|
| |
Page generated in 0.01202393 seconds (36.90% PHP - 63.10% MySQL) with 25 queries.
|
|
