Форум сетевых администраторов

Форум сетевых администраторов (http://netadmin.ws/forum/index.php)
- Поиск и обмен (http://netadmin.ws/forum/forumdisplay.php?forumid=27)
-- Пауки? (http://netadmin.ws/forum/showthread.php?threadid=4884)

Помещено blacki 26-03-2003 в 15:01:

Пауки?

Порекомендуйте пожалуйста паука для индексации сайтов, что - ни - будь вроде этого http://phpdig.toiletoine.net только мене тормазнутого. На 1 сайт почти час Да и то тегов нациплял

__________________
Национальность - русский, вероисповедание - программист.

Помещено Nuker47 26-03-2003 в 19:02:

Видел похожий, но нехорошие люди его прикрыли (а за что?). Есть похожая прожка, но она сует тебе странного спая, который врядли кому нужен... поищу на досуге.

Помещено Whizard 27-03-2003 в 22:38:

значет нет больше?

__________________
@~Whizard~@

Помещено Ilia 29-03-2003 в 23:18:

Присоединяюсь к поискам !

__________________
www.tmncity.ru - Тюменский информационно-развлекательный портал.
www.h5.ru - хостинг

Помещено Glanda 30-03-2003 в 00:55:

FDSE - вещь мощная, но не знаю у кому как.... а как по мне так минусов больше.
1) В базу суется ВСЕ!!! без сжатия. Т.е. размер базы = размеру всех сайтов. У меня база была на 30 мегов... а сайтов проиндексено всего штук 20.
2) При поиске выдает ссылки на страницы где ну НИКАК нет этого слова.

глянуть в работе можете здесь
http://www.domik.pp.ru/ms/cgi-bin/search.pl

Glanda добавил 30-03-2003 в 01:36:17:
==============
Кстати, если кто-то что-то дельное посоветует, буду рад

Сам переюзал:
- FDSE
- MnogoSearch - полная лажа, функциональность - 0
- RiSearch - простенькая слишком... приятная но слабая.

Glanda добавил 30-03-2003 в 03:07:24:
blacki
Кстати, этот скриптец мне понравился..... пока.
Я так понял он не умеет индексить с условием?
И ему нельзя сказать, чтобы такую-то дирректорию он не индексил?
Или я что-то плохо рылся в настройках?
Если да, то что там за такая интересная таблица Excludes, в которую скрипт ничего не пишет?

Не разбирался случаем?
Может можно как-то ему запретить индексацию определенных папок?

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Помещено blacki 31-03-2003 в 08:19:

Glanda пока не разберался. Я его просто натравил на сайт и засек время. Час ИМХО слишком много.

Наткнулся, еще вот на такой сайтик http://www.robotstxt.org/ можно поискать.

__________________
Национальность - русский, вероисповедание - программист.

Помещено Glanda 01-04-2003 в 15:15:

blacki
У меня он индексил нормально, но там нет поддержки кириллицы

А о сайте... так там же просто описания "работы с поисковыми".
О скриптах и речи нет.

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Помещено blacki 01-04-2003 в 15:23:

Поддержку вписать не трудно. Благо на �_Н�_ написан. Но мне не нравится, что ссылок дофига выдает...

__________________
Национальность - русский, вероисповедание - программист.

Помещено Svireli 01-04-2003 в 15:58:

quote:
Наткнулся, еще вот на такой сайтик http://www.robotstxt.org/ можно поискать. [/B]

Откуда можно скачать этот скрипт?

Помещено blacki 01-04-2003 в 16:03:

Svireli ??? Все линки выше.

__________________
Национальность - русский, вероисповедание - программист.

Помещено Glanda 02-04-2003 в 18:55:

blacki
Ну не знаю насколько это трудно/не трудно, исходники не смотрел, но в зависимости от того как он в базу все это пишет, может оказаться и довольно сложно.

А вот про ссылки не понял, что значит слишком много?
Так сколько ссылок удовлетворяют запросу, столько и выдает.

Или ты о процессе индексации?
Так это как раз и просто исправить... просто в вывод вместо всей фигни ничего не сувать.

Кстати... там можно просто делать запросы, останавливать браузер... ждать и опять.... можно и к cron прикрутить.

Glanda добавил 02-04-2003 в 18:56:08:
Svireli
blacki
Елки, да где вы там скрипт нашли?
Дайте прямую ссылку, я о robotstxt.com

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Помещено Stek 02-04-2003 в 19:01:

quote:
- MnogoSearch - полная лажа, функциональность - 0

Ну кому как

На данный момент проиндексированно около 3 миллионов документов. �_азмер индекса около 2Gb. Скорость поиска отличная. Ищет без нареканий, можно прикручивать словари. Поиск по фтп, ньюсам. Чего тебе еще надобно старче ?

__________________
http://www.phpdevs.com
�_усский ресурс о PHP

Помещено Glanda 02-04-2003 в 23:15:

Stek
Ну... вот за последние 2 дня я немного о ней мнение изменил
Вещь мощная, но не удобная

Но все же.... требования у меня, да и у автора (на сколько я понял) немного другие, мне не нужны индесы по 2Гб.... а вот веб-интерфейс управления индексацией был бы полезен.

На виртуальном хостинге.... маяться с ssh, которое кстати не так просто заиметь на многих даже платных хостингах, не очень хочется.

Хотя... может у нее и это есть?

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Помещено Stek 03-04-2003 в 07:34:

Glanda
на сайте разработчика есть разные примочки с поисковику. В том числе и создание каталога сайтов с вэб интерфейсомю. Именно по этому каталогу и идет индексация.

quote:
На виртуальном хостинге.... маяться с ssh,

ну за все приходится платить

__________________
http://www.phpdevs.com
�_усский ресурс о PHP

Помещено Glanda 03-04-2003 в 12:25:

Stek
�_то на каком сайте?

Официальный сайт, да и как сам проект, я так понял умер уже давно года полтора назад.

Нет ни новых версий, ничего.

Может я ни на тот сайт хожу?

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Помещено Stek 03-04-2003 в 19:48:

либо мы о разном говорим с тобой, либо http://www.mnogosearch.org/

__________________
http://www.phpdevs.com
�_усский ресурс о PHP

Помещено Bochkarev_D.S. 04-04-2003 в 05:35:

однозначно http://www.mnogosearch.org/
даже не ищите больше ничего

Помещено Alex Wanderer 04-04-2003 в 09:19:

Что-то не впечатлил меня mnogosearch, правда уже не помню почему. Кажется, его было слишком геморойно переделывать под свои нужды (виртуальные пути).
Оказалось быстрее (и интереснее) взять за основу поисковый скрипт Спектатора (http://spectator.ru/issues/278 и http://spectator.ru/issues/279 ). Правда, корректировать пришлось немало...

__________________
Что? Не работает? А в сеть его включили???

Помещено blacki 04-04-2003 в 09:56:

Парочка вопросов если не возражаете:

1. А виндозного mnogosearch'а на халяву или на обмен ни у кого нету? Хочется, посмотреть сие чудо.
2. Ктонибудь пробовал, бесплатную версию mnogosearch'а (та котораю юниксовская) ставить на винды?

Alex Wanderer вообщем то здесь обсуждаются, не скрипты поисковики, а пауки - индексаторы сайтов. Если не чего сказать поделу, то пожалуйста молчи.

__________________
Национальность - русский, вероисповедание - программист.

Помещено Alex Wanderer 04-04-2003 в 11:32:

2 blacki
Может я чего неправильно понял: а нафига нужно индексирование кроме как для поиска?

__________________
Что? Не работает? А в сеть его включили???

Помещено blacki 04-04-2003 в 12:49:

Alex Wanderer между словами сайт и сайты, разницу улавливаешь? Правильно множественность, а также объемы и т.д. А значит принципы работы и сруктура базы данных разнятся.

IMHO давать линки на скрипты работающие с текстовиками, поменьшей мере не логично. Я могу тебе таких ссылок парочку А4 накидать, а толку? Нужен нормальный скрипт, быстрый и схорошей базой.

__________________
Национальность - русский, вероисповедание - программист.

Помещено Alex Wanderer 04-04-2003 в 13:17:

blacki , а что будем индексировать? ИМХО, min 90% -- это текст. Давай определимся с
а) целью индексирования
б) индексируемой инфой

quote:
значит принципы работы и сруктура базы данных разнятся

и тогда ИМХО можно будет сформулировать оные принципы и структуру.

__________________
Что? Не работает? А в сеть его включили???

Помещено blacki 04-04-2003 в 13:42:

а) поисковик (примерно на 3000 - 10000 сайтов).
б) контент сих сайтов
а + в = скрипт паук, как многократно писалось выше. Буду очень благодарен если Вы, после того как определились, сможете мне помочь.

__________________
Национальность - русский, вероисповедание - программист.

Помещено Alex Wanderer 04-04-2003 в 17:16:

Дык, есть еще RiSearch ( http://risearch.org/ )

__________________
Что? Не работает? А в сеть его включили???

Помещено Stek 04-04-2003 в 21:08:

Alex Wanderer
вобщем то вся разница в объемах индексируемой информации. Если у тебя 100 страниц, то ты можешь хоть в текстовой базе все хранить.
А когда у тебя по 50,000 и более, то без нормального индекса уже не обойдешься.
В принципе из бесплатных (нормальных) поисковиков я знаю только htdig, mnogosearch и его старшего брата ASPSeek . Но с последним у меня дела не сложились, в кодировках запоролся. Хотя конечно вещь стоящая.

__________________
http://www.phpdevs.com
�_усский ресурс о PHP

Помещено Glanda 05-04-2003 в 00:52:

Stek
Mnogosearch и ASPSeek они действительно братья?
Или это так... по похожести?

Попробуй таки FDSE, может ты с ней подружишься, правда.... 50000 сайтов.... перловый скрипт с текстовыми базами не потянет....
Но с другой стороны у твоего первоначального выбора мощи не побольше.
Может ты с кол-ом сайтов перегнул?

Вобщем глянь:
http://www.xav.com/

Но она платная, правда всего 40$.

Есть версия v2.0.0.0053 поправленная на freeware
Но с ней проблемы, что я уже писал выше

P.S.
Люди, а SAPSeek реально поставить на виртуальный хостинг?
И насколько удачно катят их бинарники под RedHat ?

Glanda добавил 05-04-2003 в 00:55:08:
Stek
Да, кстати... она и на MySQL работать умеет, запамятовал.
Но она полностью на перле, что не есть хорошо для загрузки сервака.

Если вдруг разберешься где там грабли, или последнюю версию пофриваришь , то черкни на форум.... обсудим ее +\- ок?

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Помещено Stek 05-04-2003 в 10:08:

Glanda
ASP Seek не на перле , это C
�_тот продукт делался отталкиваясь от многосерча, но в тоже время они ориентировались на создание полнофункциональной поисковой машины. В результате качество поиска, быстродействие - намного превышают многосерч.
Но этот софт только для дидикейтов. По крайней мере запускать на виртулах такие мощности нет смысла.

__________________
http://www.phpdevs.com
�_усский ресурс о PHP

Помещено blacki 07-04-2003 в 08:59:

ASP Seek похоже то что надо, толькоб разобраться...
Stek ты его ставил?

__________________
Национальность - русский, вероисповедание - программист.

Помещено Stek 07-04-2003 в 13:26:

blacki
да.
./configure --prefix=/opt/aspseek
make
make install
чего там ставить то

__________________
http://www.phpdevs.com
�_усский ресурс о PHP

Помещено blacki 08-04-2003 в 11:14:

ок. буду пробовать.

__________________
Национальность - русский, вероисповедание - программист.

Помещено Glanda 12-04-2003 в 13:47:

Stek
Я знаю что он не на перле

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Формат времени GMT. Текущее время 12:38.

Показаны 31 сообщений на этой странице