Форум сетевых администраторов - трабла с микроспайдером

Форум сетевых администраторов (http://netadmin.ws/forum/index.php)
- PHP (http://netadmin.ws/forum/forumdisplay.php?forumid=6)
-- трабла с микроспайдером (http://netadmin.ws/forum/showthread.php?threadid=8404)

Помещено ulfr 06-04-2004 в 18:32:

трабла с микроспайдером

заморачиваюсь по собственным нуждам с парсящим микроспайдером, буквально на два-три линка вглубь, и тут возникает %сабж% из-за следующих условий:

а) бот должен работать через проксю, т.е.
получить страницу через

PHP:



$handle = fopen ("http://www.example.com/", "r");

уже не получится...

б) бот должен обрабатывать/корректировать куки...

может подкинет кто идею, как это реализовать?

Помещено GenUS 06-04-2004 в 19:09:

Попробуй поюзать CURL (если стоит такой модуль) ...
http://ru.php.net/curl/

__________________
.

Помещено ulfr 06-04-2004 в 19:21:

курла заведомо нет.
видимо остается только через сокеты пробовать...
есть мысли по разбору/выдиранию HTTP-заголовков из потока, приходяжего на сокет?

Помещено GenUS 06-04-2004 в 20:15:

ulfr
Если собрался работать напрямую с сокетами, то думаю придется почитать RFC2068 ... это спецификация HTTP/1.1 ...

__________________
.

Помещено ulfr 06-04-2004 в 20:22:

придется... но может есть где пример простого HTTP-клиента:
послал запрос/прослушал ответ, без этого никуда

а рфц это от лукавого

Помещено GenUS 06-04-2004 в 22:01:

ulfr
Лично я пока-что не видел полноценных классов по ХТТП, чтобы и с кукисами и через проксю нормально работали ... не прочь-бы сам поиметь класс-аналог CURL-у ...

__________________
.

Помещено SCHIZO 05-05-2004 в 14:36:

ulfr одна просьба: прежде чем написать своего спам-бота/сборщика e-mail`ов поделись с участниками этого форума способами защиты...

__________________
FAQ OFF

Формат времени GMT. Текущее время 13:15.

Показаны 7 сообщений на этой странице