У кого нибудь есть база IP-адресов поисковых роботов?
Надо.

Кстати, вот один из способов собирать статистику по IP и User-Agent:

Изменения в .htaccess

code:

RewriteEngine On 
RewriteRule robots.txt robots.php

User-agent: * 


<? 
$tdate = date("dS F Y h:i:s A"); 
$fp = fopen("log.txt", "a"); // сюда пишем логи чмод 777 
$line = "IP Address: $REMOTE_ADDR - Date: $tdate - Browser: $HTTP_USER_AGENT\n"; 
fwrite($fp, $line); 
fclose($fp); 
?> 

IP Address: 68.157.245.140 - Date: 25th August 2005 10:42:31 AM - Browser: NetResearchServer/3.5(loopimprovements.com/robot.html) 
IP Address: 213.180.128.151 - Date: 25th August 2005 10:48:40 AM - Browser: Mozilla/5.0 (compatible; OnetSzukaj/5.0; +http://szukaj.onet.pl) 

Сообщение было отредактировано Jovani 25-08-2005 в 10:38

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Я не думаю что это разумно орьентируясь по IP. IP зачастую меняются. Лучше всего использовать user-agent, а список всех поисковиков несложно найти в нете, да и любой парсер логов распологает им, вот например файл который юзает веблог експерт:

code:

arachnophilia = Arachnophilia
architext = ArchitextSpider
aspider = Associative Spider
backrub = BackRub
checkbot = Checkbot
Firefly = Fireball.de Robot
freecrawl = Freecrawl
gazz/2.1 (gazz@nttrd.com) = Nttrd.com Robot
geturl = GetURL
googlebot = Googlebot
gulliver = Northern Light Gulliver
infoseek = InfoSeek Robot
infoseeksidewinder = Infoseek Sidewinder
internetseer = InternetSeer
lycos_ = Lycos Spider
scooter = Scooter
searchhippo = SearchHippo Robot
Yahoo! Slurp = Yahoo! Slurp
slurp = Inktomi Slurp
fast-webcrawler = Fast-Webcrawler
mercator = Mercator
MSIECrawler = MSIE Crawler
ia_archiver = Alexa Robot
ultraseek = Ultraseek
Xenu Link Sleuth = Xenu's Link Sleuth
Xenu's Link Sleuth = Xenu's Link Sleuth
File Flash Spider = File Flash Spider
TrueRobot/1.4 = Echo.com Robot
SlySearch = Slysearch Robot
Openfind = Openfind Robot
LWP::Simple = Perl LWP
lwp-trivial = Search4free Robot
libwww-perl/5.41 = CMP United Media Robot 
libwww-perl/5.48 = Alexa Robot
libwww-perl/5.52 FP = Fast Search Robot
NPBot = NameProtect Robot
Gigabot = Gigablast Robot
Baiduspider = Baiduspider
TurnitinBot = Turnitin Robot
Overture-WebCrawler = Overture Crawler
Gaisbot = Gaislab Robot 
msnbot = MSN Robot 
psbot = Picsearch Robot
appie = Walhello Robot
Ask Jeeves = AskJeeves Robot
linkwalker = LinkWalker
moget = Goo Japan Robot
Netcraft = Netcraft Spider
VoilaBot = Voila Robot
ZyBorg = WiseNut Robot
AlkalineBOT = Vestris Robot
SurveyBot = SurveyBot
yandex = Yandex Robot
StackRambler = Rambler Robot
aport = Aport Robot
grub-client = Grub Crawler
Morning Paper = Morning Paper
search.ch = Search.ch Robot
Vagabondo = WiseGuys Robot
almaden = IBM Almaden Crawler
TutorGig = TutorGig Crawler
QuepasaCreep = Quepasa Crawler
exactseek = ExactSeek Robot
Zealbot = Zealbot
Speedy Spider = Entireweb Robot
NaverBot = Naver Robot
IlTrovatore = IlTrovatore Robot
Girafabot = Girafabot
Powermarks = Powermarks
WebMon 1. = WebMon
Jyxobot = Jyxobot
holmes/ = Holmes Crawler

__________________
Всегда есть решение.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

quote:

---

Лучше всего использовать user-agent

---

__________________
The time was broken ...

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Не хочу спорить, но вот строчка из лога:
213.180.206.247 - - [24/Aug/2005:06:34:02 +0100] "GET /forum/showthread.php?postid=72394 HTTP/1.1" 200 128977 "-" "Yandex/1.01.001 (compatible; Win16; M)"

И эта строчка не единственная, также есть Mozilla/5.0 (compatible; Googlebot/2.1; +http://www.google.com/bot.html), я думаю если проанализировать любой лог апача сайта который хорошо проиндексирован то можно убедиться в том что любой бот имеет свой юзерагент.

__________________
Всегда есть решение.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

quote:

---

Я не думаю что это разумно орьентируясь по IP. IP зачастую меняются.

---

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Ничего не мешает в этой таблице добавить поле и хранить там user-agent.

__________________
Всегда есть решение.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Список зарубежных роботов и их user-agent'ов можно поглядеть здесь:
http://www.robotstxt.org/wc/active/html/index.html

PS: Вчера я глупость сказал User-agent'ы и правда везде есть. Просто по ошибке сделал выборку из логов не того vhost'а.

__________________
The time was broken ...

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

quote:

---

User-agent'ы и правда везде есть

---

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Так это и не роботы...
195.178.36.134 // TELEKOM SRBIJA
195.46.188.147 // ROL dialup pool
и т.д.

__________________
The time was broken ...

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Тогда странно, какого черта они лезут в robots.txt, да еще без User-Agent ???
Если какой посетитель из любопытства, то все равно должен быть User-Agent.
А так не понятно, может какие "качалки"? Вроде в некоторых, можно любой User-Agent прикрутить ...

Сообщение было отредактировано Jovani 26-08-2005 в 17:21

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Попробуй сделать выборку по какому-нибудь их этих адресов ... что ещё он запрашивал.

__________________
The time was broken ...

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

RaZEr вобщем, забил я на это ...
IP адреса потихоньку собираю через логи, а дальше видно будет ...

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

> что при заходе робота, постоянно запрашивается robots.txt
Во многих, да. Вдруг Вы там что поменяли. А для паука ваше слово закон, по крайней мере так должно быть )

Сообщить модератору об этом сообщении | Предупреждение | IP: определен