Порекомендуйте пожалуйста паука для индексации сайтов, что - ни - будь вроде этого http://phpdig.toiletoine.net только мене тормазнутого. На 1 сайт почти час Да и то тегов нациплял

__________________
Национальность - русский, вероисповедание - программист.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Видел похожий, но нехорошие люди его прикрыли (а за что?). Есть похожая прожка, но она сует тебе странного спая, который врядли кому нужен... поищу на досуге.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

значет нет больше?

__________________
@~Whizard~@

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Присоединяюсь к поискам !

__________________
**censored** - Тюменский информационно-развлекательный портал.
**censored** - хостинг

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

FDSE - вещь мощная, но не знаю у кому как.... а как по мне так минусов больше.
1) В базу суется ВСЕ!!! без сжатия. Т.е. размер базы = размеру всех сайтов. У меня база была на 30 мегов... а сайтов проиндексено всего штук 20.
2) При поиске выдает ссылки на страницы где ну НИКАК нет этого слова.

глянуть в работе можете здесь
http://www.domik.pp.ru/ms/cgi-bin/search.pl

Glanda добавил 30-03-2003 в 01:36:17:
==============
Кстати, если кто-то что-то дельное посоветует, буду рад

Сам переюзал:
- FDSE
- MnogoSearch - полная лажа, функциональность - 0
- RiSearch - простенькая слишком... приятная но слабая.

Glanda добавил 30-03-2003 в 03:07:24:
blacki
Кстати, этот скриптец мне понравился..... пока.
Я так понял он не умеет индексить с условием?
И ему нельзя сказать, чтобы такую-то дирректорию он не индексил?
Или я что-то плохо рылся в настройках?
Если да, то что там за такая интересная таблица Excludes, в которую скрипт ничего не пишет?

Не разбирался случаем?
Может можно как-то ему запретить индексацию определенных папок?

__________________
**censored** - Самые оригинальные открытки в сети.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Glanda пока не разберался. Я его просто натравил на сайт и засек время. Час ИМХО слишком много.

Наткнулся, еще вот на такой сайтик http://www.robotstxt.org/ можно поискать.

__________________
Национальность - русский, вероисповедание - программист.

Сообщение было отредактировано blacki 31-03-2003 в 08:22

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

blacki
У меня он индексил нормально, но там нет поддержки кириллицы

А о сайте... так там же просто описания "работы с поисковыми".
О скриптах и речи нет.

__________________
**censored** - Самые оригинальные открытки в сети.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Поддержку вписать не трудно. Благо на �_Н�_ написан. Но мне не нравится, что ссылок дофига выдает...

__________________
Национальность - русский, вероисповедание - программист.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

quote:

---

Наткнулся, еще вот на такой сайтик http://www.robotstxt.org/ можно поискать. [/B]

---

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Svireli ??? Все линки выше.

__________________
Национальность - русский, вероисповедание - программист.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

blacki
Ну не знаю насколько это трудно/не трудно, исходники не смотрел, но в зависимости от того как он в базу все это пишет, может оказаться и довольно сложно.

А вот про ссылки не понял, что значит слишком много?
Так сколько ссылок удовлетворяют запросу, столько и выдает.

Или ты о процессе индексации?
Так это как раз и просто исправить... просто в вывод вместо всей фигни ничего не сувать.

Кстати... там можно просто делать запросы, останавливать браузер... ждать и опять.... можно и к cron прикрутить.

Glanda добавил 02-04-2003 в 18:56:08:
Svireli
blacki
Елки, да где вы там скрипт нашли?
Дайте прямую ссылку, я о robotstxt.com

__________________
**censored** - Самые оригинальные открытки в сети.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

quote:

---

- MnogoSearch - полная лажа, функциональность - 0

---

Ну кому как На данный момент проиндексированно около 3 миллионов документов. �_азмер индекса около 2Gb. Скорость поиска отличная. Ищет без нареканий, можно прикручивать словари. Поиск по фтп, ньюсам. Чего тебе еще надобно старче ?

__________________
**censored**
�_усский ресурс о PHP

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Stek
Ну... вот за последние 2 дня я немного о ней мнение изменил
Вещь мощная, но не удобная

Но все же.... требования у меня, да и у автора (на сколько я понял) немного другие, мне не нужны индесы по 2Гб.... а вот веб-интерфейс управления индексацией был бы полезен.

На виртуальном хостинге.... маяться с ssh, которое кстати не так просто заиметь на многих даже платных хостингах, не очень хочется.

Хотя... может у нее и это есть?

__________________
**censored** - Самые оригинальные открытки в сети.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Glanda
на сайте разработчика есть разные примочки с поисковику. В том числе и создание каталога сайтов с вэб интерфейсомю. Именно по этому каталогу и идет индексация.

quote:

---

На виртуальном хостинге.... маяться с ssh,

---

ну за все приходится платить

__________________
**censored**
�_усский ресурс о PHP

Сообщить модератору об этом сообщении | Предупреждение | IP: определен

Stek
�_то на каком сайте?

Официальный сайт, да и как сам проект, я так понял умер уже давно года полтора назад.

Нет ни новых версий, ничего.

Может я ни на тот сайт хожу?

__________________
**censored** - Самые оригинальные открытки в сети.

Сообщить модератору об этом сообщении | Предупреждение | IP: определен