Форум сетевых администраторов

Страницы (3): [1] 2 3 »
Показаны 31 сообщений на этой странице

Форум сетевых администраторов (http://netadmin.ws/forum/index.php)
- Поиск и обмен (http://netadmin.ws/forum/forumdisplay.php?forumid=27)
-- Пауки? (http://netadmin.ws/forum/showthread.php?threadid=4884)

Помещено blacki 26-03-2003 в 15:01:

Пауки?

Порекомендуйте пожалуйста паука для индексации сайтов, что - ни - будь вроде этого http://phpdig.toiletoine.net только мене тормазнутого. На 1 сайт почти час Да и то тегов нациплял

__________________
Национальность - русский, вероисповедание - программист.

Помещено Nuker47 26-03-2003 в 19:02:

Видел похожий, но нехорошие люди его прикрыли (а за что?). Есть похожая прожка, но она сует тебе странного спая, который врядли кому нужен... поищу на досуге.

Помещено Whizard 27-03-2003 в 22:38:

значет нет больше?

__________________
@~Whizard~@

Помещено Ilia 29-03-2003 в 23:18:

Присоединяюсь к поискам !

__________________
www.tmncity.ru - Тюменский информационно-развлекательный портал.
www.h5.ru - хостинг

Помещено Glanda 30-03-2003 в 00:55:

FDSE - вещь мощная, но не знаю у кому как.... а как по мне так минусов больше.
1) В базу суется ВСЕ!!! без сжатия. Т.е. размер базы = размеру всех сайтов. У меня база была на 30 мегов... а сайтов проиндексено всего штук 20.
2) При поиске выдает ссылки на страницы где ну НИКАК нет этого слова.

глянуть в работе можете здесь
http://www.domik.pp.ru/ms/cgi-bin/search.pl

Glanda добавил 30-03-2003 в 01:36:17:
==============
Кстати, если кто-то что-то дельное посоветует, буду рад

Сам переюзал:
- FDSE
- MnogoSearch - полная лажа, функциональность - 0
- RiSearch - простенькая слишком... приятная но слабая.

Glanda добавил 30-03-2003 в 03:07:24:
blacki
Кстати, этот скриптец мне понравился..... пока.
Я так понял он не умеет индексить с условием?
И ему нельзя сказать, чтобы такую-то дирректорию он не индексил?
Или я что-то плохо рылся в настройках?
Если да, то что там за такая интересная таблица Excludes, в которую скрипт ничего не пишет?

Не разбирался случаем?
Может можно как-то ему запретить индексацию определенных папок?

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Помещено blacki 31-03-2003 в 08:19:

Glanda пока не разберался. Я его просто натравил на сайт и засек время. Час ИМХО слишком много.

Наткнулся, еще вот на такой сайтик http://www.robotstxt.org/ можно поискать.

__________________
Национальность - русский, вероисповедание - программист.

Помещено Glanda 01-04-2003 в 15:15:

blacki
У меня он индексил нормально, но там нет поддержки кириллицы

А о сайте... так там же просто описания "работы с поисковыми".
О скриптах и речи нет.

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Помещено blacki 01-04-2003 в 15:23:

Поддержку вписать не трудно. Благо на �_Н�_ написан. Но мне не нравится, что ссылок дофига выдает...

__________________
Национальность - русский, вероисповедание - программист.

Помещено Svireli 01-04-2003 в 15:58:

quote:
Наткнулся, еще вот на такой сайтик http://www.robotstxt.org/ можно поискать. [/B]

Откуда можно скачать этот скрипт?

Помещено blacki 01-04-2003 в 16:03:

Svireli ??? Все линки выше.

__________________
Национальность - русский, вероисповедание - программист.

Помещено Glanda 02-04-2003 в 18:55:

blacki
Ну не знаю насколько это трудно/не трудно, исходники не смотрел, но в зависимости от того как он в базу все это пишет, может оказаться и довольно сложно.

А вот про ссылки не понял, что значит слишком много?
Так сколько ссылок удовлетворяют запросу, столько и выдает.

Или ты о процессе индексации?
Так это как раз и просто исправить... просто в вывод вместо всей фигни ничего не сувать.

Кстати... там можно просто делать запросы, останавливать браузер... ждать и опять.... можно и к cron прикрутить.

Glanda добавил 02-04-2003 в 18:56:08:
Svireli
blacki
Елки, да где вы там скрипт нашли?
Дайте прямую ссылку, я о robotstxt.com

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Помещено Stek 02-04-2003 в 19:01:

quote:
- MnogoSearch - полная лажа, функциональность - 0

Ну кому как

На данный момент проиндексированно около 3 миллионов документов. �_азмер индекса около 2Gb. Скорость поиска отличная. Ищет без нареканий, можно прикручивать словари. Поиск по фтп, ньюсам. Чего тебе еще надобно старче ?

__________________
http://www.phpdevs.com
�_усский ресурс о PHP

Помещено Glanda 02-04-2003 в 23:15:

Stek
Ну... вот за последние 2 дня я немного о ней мнение изменил
Вещь мощная, но не удобная

Но все же.... требования у меня, да и у автора (на сколько я понял) немного другие, мне не нужны индесы по 2Гб.... а вот веб-интерфейс управления индексацией был бы полезен.

На виртуальном хостинге.... маяться с ssh, которое кстати не так просто заиметь на многих даже платных хостингах, не очень хочется.

Хотя... может у нее и это есть?

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Помещено Stek 03-04-2003 в 07:34:

Glanda
на сайте разработчика есть разные примочки с поисковику. В том числе и создание каталога сайтов с вэб интерфейсомю. Именно по этому каталогу и идет индексация.

quote:
На виртуальном хостинге.... маяться с ssh,

ну за все приходится платить

__________________
http://www.phpdevs.com
�_усский ресурс о PHP

Помещено Glanda 03-04-2003 в 12:25:

Stek
�_то на каком сайте?

Официальный сайт, да и как сам проект, я так понял умер уже давно года полтора назад.

Нет ни новых версий, ничего.

Может я ни на тот сайт хожу?

__________________
http://cards.domik.pp.ru - Самые оригинальные открытки в сети.

Формат времени GMT. Текущее время 15:12.

Страницы (3): [1] 2 3 »
Показаны 31 сообщений на этой странице