Главная :: Форум :: Web ClipArt :: Поиск :: Статистика :: Топ 10 :: Публикация :: Рекомендовать
netadmin.ws
Панель управления Регистрция свободна! Календарь Список пользователей Часто задаваемые вопросы Поиск по форуму Архив скриптов Главная   
Форум сетевых администраторов
Форум сетевых администраторов Форум сетевых администраторов » Программирование » PHP » трабла с микроспайдером
Предыдущая тема     Следующая тема
Автор
Тема    Новая тема     Ответить на эту тему
ulfr
Участник

Зарегистрирован: Apr 2004
Место проживания:
Публикаций: 5
Статус: ulfr в оф-лайне
трабла с микроспайдером [сообщение #64314]

заморачиваюсь по собственным нуждам с парсящим микроспайдером, буквально на два-три линка вглубь, и тут возникает %сабж% из-за следующих условий:

а) бот должен работать через проксю, т.е.
получить страницу через

PHP:


$handle 
= fopen ("http://www.example.com/", "r");


уже не получится...

б) бот должен обрабатывать/корректировать куки...

может подкинет кто идею, как это реализовать?

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Old Post 06-04-2004 18:32
Нажмите сюда для просмотра профайла ulfr Отправить Персональное сообщение ulfr Найти сообщения от ulfr Добавить ulfr в свой список друзей Редактировать/Удалить сообщение Ответить Цитируя
GenUS
Участник+
Средний рейтинг: 4.63 | Оценок: 19
/нажмите чтобы посмотреть кто оценивал/

Зарегистрирован: Apr 2003
Место проживания: 127.0.0.1
Публикаций: 334
Статус: GenUS в оф-лайне
[сообщение #64322]

Попробуй поюзать CURL (если стоит такой модуль) ...
http://ru.php.net/curl/

__________________
.

Сообщение было отредактировано GenUS 06-04-2004 в 19:11

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Old Post 06-04-2004 19:09
Нажмите сюда для просмотра профайла GenUS Отправить Персональное сообщение GenUS Посетить домашнию страничку GenUS! Найти сообщения от GenUS Добавить GenUS в свой список друзей Редактировать/Удалить сообщение Ответить Цитируя
ulfr
Участник

Зарегистрирован: Apr 2004
Место проживания:
Публикаций: 5
Статус: ulfr в оф-лайне
[сообщение #64327]

курла заведомо нет.
видимо остается только через сокеты пробовать...
есть мысли по разбору/выдиранию HTTP-заголовков из потока, приходяжего на сокет?

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Old Post 06-04-2004 19:21
Нажмите сюда для просмотра профайла ulfr Отправить Персональное сообщение ulfr Найти сообщения от ulfr Добавить ulfr в свой список друзей Редактировать/Удалить сообщение Ответить Цитируя
GenUS
Участник+
Средний рейтинг: 4.63 | Оценок: 19
/нажмите чтобы посмотреть кто оценивал/

Зарегистрирован: Apr 2003
Место проживания: 127.0.0.1
Публикаций: 334
Статус: GenUS в оф-лайне
[сообщение #64336]

ulfr
Если собрался работать напрямую с сокетами, то думаю придется почитать RFC2068 ... это спецификация HTTP/1.1 ...

__________________
.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Old Post 06-04-2004 20:15
Нажмите сюда для просмотра профайла GenUS Отправить Персональное сообщение GenUS Посетить домашнию страничку GenUS! Найти сообщения от GenUS Добавить GenUS в свой список друзей Редактировать/Удалить сообщение Ответить Цитируя
ulfr
Участник

Зарегистрирован: Apr 2004
Место проживания:
Публикаций: 5
Статус: ulfr в оф-лайне
[сообщение #64337]

придется... но может есть где пример простого HTTP-клиента:
послал запрос/прослушал ответ, без этого никуда

а рфц это от лукавого

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Old Post 06-04-2004 20:22
Нажмите сюда для просмотра профайла ulfr Отправить Персональное сообщение ulfr Найти сообщения от ulfr Добавить ulfr в свой список друзей Редактировать/Удалить сообщение Ответить Цитируя
GenUS
Участник+
Средний рейтинг: 4.63 | Оценок: 19
/нажмите чтобы посмотреть кто оценивал/

Зарегистрирован: Apr 2003
Место проживания: 127.0.0.1
Публикаций: 334
Статус: GenUS в оф-лайне
[сообщение #64350]

ulfr
Лично я пока-что не видел полноценных классов по ХТТП, чтобы и с кукисами и через проксю нормально работали ... не прочь-бы сам поиметь класс-аналог CURL-у ...

__________________
.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Old Post 06-04-2004 22:01
Нажмите сюда для просмотра профайла GenUS Отправить Персональное сообщение GenUS Посетить домашнию страничку GenUS! Найти сообщения от GenUS Добавить GenUS в свой список друзей Редактировать/Удалить сообщение Ответить Цитируя
SCHIZO
STFW
Средний рейтинг: 5 | Оценок: 8
/нажмите чтобы посмотреть кто оценивал/

Зарегистрирован: Jul 2002
Место проживания: Кольский п-ов
Публикаций: 305
Статус: SCHIZO в оф-лайне
[сообщение #66147]

ulfr одна просьба: прежде чем написать своего спам-бота/сборщика e-mail`ов поделись с участниками этого форума способами защиты...

__________________
FAQ OFF

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Old Post 05-05-2004 14:36
Нажмите сюда для просмотра профайла SCHIZO Отправить Персональное сообщение SCHIZO Посетить домашнию страничку SCHIZO! Найти сообщения от SCHIZO Добавить SCHIZO в свой список друзей Редактировать/Удалить сообщение Ответить Цитируя



Формат времени GMT. Текущее время 13:16.
Новая тема   Ответить на эту тему [ Версия для печати Печать | Отправить эту страницу другу/знакомому! Отправить | Получать уведомления об обновлении этой темы Подписка ] Предыдущая тема     Следующая тема
Навигация по форуму:
Оценка темы:

Правила форума:
Вы не можете создавать новые темы.
Вы не можете отвечать на существующие темы.
Вы не можете прикреплять файлы.
Вы не можете редактировать свои сообщения.
HTML теги выкл.
Спец. код вкл.
Смайлики вкл.
[IMG] тег выкл.
 

Page generated in 0.04044008 seconds (80.03% PHP - 19.97% MySQL) with 23 queries.


  Главная :: Форум :: Web ClipArt :: Поиск :: Статистика :: Топ 10 :: Публикация :: Рекомендовать
©NetAdmin.ws, 2001-2026.
Powered by: vBulletin
Copyright ©2000, 2001, Jelsoft Enterprises Limited.