102 replies to this topic

[Dr Death]

гм у сержа на поиске мой фтпшник индексировался вовремя и в полном обьеме, каким таким макаром идет индексация на новом, не имею ни малейшего представления, однако видно что более половины файлов он не видит. Может кто нибудь скажет каким образом новый поисковик отлавливает файл индекса?
зы:сначала радовался красивому дизайну, простоте нового поиска, но постепенно пришол к выводу, что у старого кпд был повыше,намного повыше, эх...

[deepweb]

Люди мой сервер занесли в список серверов http://ftpsearch.dee...?action=servers
но как зделать так чтобы там показывалось сколько обьём файлов и показывалось что сервер онлайн?
Мой сервер ftp://10.128.5.124/
Тему из Оффтопа перенесли сюда. //Jarry

58 10.128.5.124 Открыть Браузинг 12252 86.45 Гб 1 0

А это что \=

[deepweb]

гм у сержа на поиске мой фтпшник индексировался вовремя и в полном обьеме, каким таким макаром идет индексация на новом, не имею ни малейшего представления, однако видно что более половины файлов он не видит. Может кто нибудь скажет каким образом новый поисковик отлавливает файл индекса?
зы:сначала радовался красивому дизайну, простоте нового поиска, но постепенно пришол к выводу, что у старого кпд был повыше,намного повыше, эх...

Хм интересное заявление.

index.gz он парсит это указывается настройках которые будут доступны админам серов в новой версии.

Покажи какие файлы он не видит =) по браузь по серверам и покажи! созданные за последнии сутки не актуально.

КПД =) я ещё раз спрашиваю чего вам не хватает!! заметьте я даже создавал тему с предложениями которые все реализовал а щас кто то говорит про КПД, прошу конкретнее что не находит что не видит что не индексирует.

[Dr Death]

счас там вообще 0 у меня (41 номер в списке серверов) и у ещё примерно половины из списка) люди держат пустые фтп?) бывает,
мне лично всего хватает, отписал свои впечатления от пользования, не более.

[deepweb]

Пример файла парсинга.... gz что бы сомнений не было... Естественно щас он уже другой но и этот вариант показывал хороший результат парса 200 запросов в секунду.

<?

include "function.php";
include "includes\swich.php";
set_time_limit (0); // it may take long to index everything.
$date = date ("Y-m-d H:i:s");
echo "$date <br>";
$fp = fopen("compress.zlib://ftp://10.128.1.2/index.gz", "r");
#index.gz","r");
#ftp://10.128.1.2/index.gz", "r");
$var = array();
$contents = '';
while (!feof($fp)) {
  $contents .= fread($fp, 8388608);
}
fclose($fp);
$date = date ("Y-m-d H:i:s");
echo "$date <br>";
preg_match_all("/^(.*)$/m", $contents , $arr);  #делаем масив по строкам
$contents = "";
$date = date ("Y-m-d H:i:s");
echo "$date <br>";
$arr_dir = preg_grep("/^$/", $arr[0]); #делаем массив из разделителей \n\n
$date = date ("Y-m-d H:i:s");
echo "$date <br>";

$count_dat = 0;
$key_prev = 0;
foreach ($arr_dir as $key => $val){
$key_dat0["$count_dat"] = $key_prev;
$key_dat1["$count_dat"] = $key - 1;
$count_dat++;
$key_prev = $key + 1;
}
$arr_dir = "";
/* имеем 2 массива
$arr построчный
$key_dat[номер блока] [0]начало блока [1] конец блока
*/
$date = date ("Y-m-d H:i:s");
echo "$date <br>";

$arr[1][0] = "./:";
$id = 1;

/*
$data [$id]['IDFile'] = 0;
$data [$id]['IDResource'] =0;
$data [$id]['FileName'] ="";
$data [$id]['URLPath'] ="";
$data [$id]['IsDirectory'] =0;
$data [$id]['IDParentDir'] =0;
$data [$id]['FileSize'] =0;
$data [$id]['eff_d'] ="";
$data [$id]['counter'] =0;
*/
$url = "ftp://10.128.1.2";

$date = date ("Y-m-d H:i:s");
echo "$date <br>";
foreach ($key_dat0 as $key => $val){
		  $i = $val + 2;
		  $end = $key_dat1[$key];
		  preg_match("/^\.(.*)\/(.*):$/", $arr[1][$val] , $dir);
		  $key_updir1 = array_search(".$dir[1]:", $arr[1]);
		  $id_updir = array_search("$key_updir1", $key_dat0);
		  $id_old_new[$key] = $id;

/*
			 IDFile  int(11)	 Нет	auto_increment
   IDResource  int(11)	 Нет  0
   FileName  varchar(255) cp1251_general_ci   Нет
   URLPath  varchar(255) cp1251_general_ci   Нет
   IsDirectory  tinyint(4)	 Нет  0
   IDParentDir  int(11)	 Да  NULL
   FileSize  bigint(20)	 Да  NULL
   eff_d
   counter
*/


$db->sql_query("INSERT INTO file_tmp VALUES (
NULL,
'0',
'$dir[2]',
'$url$dir[1]/$dir[2]',
'1',
'$id_old_new[$id_updir]',
'0',
'$date',
'0')");


/*
$data [$id]['IDFile'] = $id;
$data [$id]['IDResource'] =0;
$data [$id]['FileName'] ="$dir[2]";
$data [$id]['URLPath'] ="$url$dir[1]/$dir[2]";
$data [$id]['IsDirectory'] =1;
$data [$id]['IDParentDir'] =$id_old_new[$id_updir];
$data [$id]['FileSize'] =0;
$data [$id]['eff_d'] = $date;
$data [$id]['counter'] =0;
*/

for ( $i; $i <= $end; $i++ ){
	   $tmp = $arr[1][$i];
	   if (preg_match("/^[^d\s]* \s+(\d{1}) \s+(\w*) \s+(\w*) \s+(\d+) \s+(\w*) \s+(\d+) \s+([\d:]+)	\s*(.*)  /x", $tmp , $y)){
	   #$tmp_arr =  sscanf ($tmp, "%s %d %s %s %d %s %d %s %s" );
	   #$tmp_arr = explode (" ", $tmp , 8);
	   $id++;



$db->sql_query("INSERT INTO file_tmp VALUES (
NULL,
'0',
'$y[8]',
'$url$dir[1]/$dir[2]/$y[8]',
'0',
'$id_old_new[$key]',
'$y[4]',
'$date',
'0')");

 /*
		   $data [$id]['IDFile'] = $id;
		   $data [$id]['IDResource'] =0;
		   $data [$id]['FileName'] ="$y[8]";
		   $data [$id]['URLPath'] ="$url$dir[1]/$dir[2]/$y[8]";
		   $data [$id]['IsDirectory'] =0;
		   $data [$id]['IDParentDir'] =$id_old_new[$key];
		   $data [$id]['FileSize'] = $y[4];
		   $data [$id]['eff_d'] = $date;
		   $data [$id]['counter'] =0;
  */
	   }
}
#echo "$id<br>";

$id++;
}


$id--;
echo "<pre>";
$date = date ("Y-m-d H:i:s");
echo "$date <br>";
#print_r($data[0]);
#print_r($data[$id]);

#print_r($arr);
echo "</pre>";

#var_dump($contents);


?>

[Taciturn]

Поле комментариев в списке серверов уже не раз просили, проигнорировано.
Вопрос что такое «ХЗ» «ХЗ2» тоже был проигнорирован…

[deepweb]

счас там вообще 0 у меня (41 номер в списке серверов) и у ещё примерно половины из списка) люди держат пустые фтп?) бывает,
мне лично всего хватает, отписал свои впечатления от пользования, не более.

Ах вот ты почему =))) так нет просто люди они читать не любят =) и роутинг править не хотят вот смотри....


http://swnet.spb.ru/...?showtopic=5779


Естественно работать не будет каждые 10 минту cron запускает скрипт...

<?php
require_once("function.php");
error_reporting(0);
$result = $db->sql_query("SELECT IPAddr FROM Resources");
if ($db->sql_numrows($result) > 0) {
while ($row = $db->sql_fetchrow($result)) {
$ip   =  stripslashes($row['IPAddr']);
$port = "21";
$tim = "5";
$tcpconn = fsockopen($ip,$port,$tim,$tim,$tim);
if ($tcpconn) {
$stas = "1";
fclose($tcpconn);
} else {
$stas = "0";
}
$db->sql_query("update Resources set LastAttemptOk='$stas' where IPAddr='$ip'");
}
}

$dep = date("d.m.Y H:i:s ");
$act = '3';
$re = 'Проверка статуса';
$db->sql_query("INSERT INTO cron_log VALUES (NULL, '$dep', '$act', '$re')");
?>

И истественно если по 21 порту не открыть конект с твоим IP то всё в список скана он не попадает.
Проверяй маршруты.

[Dr Death]

n176ip-static-190.rssp-net.spb.ru
гм ето не ты часом?
ссылку не видел, мой промах, сорри
скажу честно в маршрутизации мне разбираться неохота, вот еслибы кто нибудь написал, что прописать надо,
хм, кстати вспомнил, в первые дни работы поиска, часть моих файлов поиск видел, я вроде об етом отписывал в коментариях.

[deepweb]

Да именно... Про КПД напиши что не устраивает?

[deepweb]

Поле комментариев в списке серверов уже не раз просили, проигнорировано.
Вопрос что такое «ХЗ» «ХЗ2» тоже был проигнорирован…

Это ХЗ1 Х32

Удачные и не удачные попытки конектов одного из кронов. Поясняю попросту отладочная информация для разработчиков а ХЗ ХЗ потому что буква ха и зе рядом случайно.

[Dr Death]

Да именно... Про КПД напиши что не устраивает?

было бы смешно, еслибы не так грустно)) ты у меня забанен был...давно уже.
кпд...всё просто, мне не важно как быстро мне выдадут ответ "ничего не найдено", я согласен подождать...,как понимаешь мнение чисто субьективное, я понимаю что может дело, в том что старая база серверов побольше была или ещё в чем...
Кста, спс, что ответил на вопросы.

[deepweb]

Видимо да. Твое мнение сложилось из за того что в списке много серверов без индекса и твой в том числе и ты думал что программа работает не на 100%. Ну так вот мой коментарий к этому я не раз говорил что следует правильно настраивать маршрутизацию и если программа не может получить доступ тут уж не она виновата и не я её автор а владелец сервера который не может проследить за роутингом вот я делаю всё что возможно и почти раз в день добавляются новые сервера и совершенствуется поиск.

[Subaru]

Мда...

Люди, кто держит ФТП, расскажите пожалуста, как заставить новый поисковик забирать с ФТП файл index.gz ???
Рано утром поисковик сканирует содержимое сервера, но файл не трогает.
Инструкций на поисковом портале не найдено. Зато там на самом верху красивенькая флэшка.

[123asdqwerty]

Мда...

Люди, кто держит ФТП, расскажите пожалуста, как заставить новый поисковик забирать с ФТП файл index.gz ???
Рано утром поисковик сканирует содержимое сервера, но файл не трогает.
Инструкций на поисковом портале не найдено. Зато там на самом верху красивенькая флэшка.

Ну,красивая флэшка - первый шаг на пути к совершенству! =)

[Subaru]

а вот бы нам вот так вот оформить поисковик:

http://www.msdewey.com/

[123asdqwerty]

а вот бы нам вот так вот оформить поисковик:

http://www.msdewey.com/

ЗАЧОТ!
Даёшь такой же поиск!
Только нам заморской Ms. Dewey даром не нать.
Пущай нам там Андрей с Хотидом подмигивают яростно и рожи всяческие корчат. ))))

[Igor Diakonov]

а вот бы нам вот так вот оформить поисковик:

http://www.msdewey.com/

Ну нах...он у меня на 256 минуты 2 грузился.....

[123asdqwerty]

Ну нах...он у меня на 256 минуты 2 грузился.....

Дык.
А у нас-то он - локально,и грузиться будет не в пример быстрее...

[_Grey_]

Да. Неплохой поиск
Только само фронт - фейс не в моем вкусе...

(Грузится из-за ролика в фоне и звука имхо)

[123asdqwerty]

Да. Неплохой поиск
Только само фронт - фейс не в моем вкусе...

(Грузится из-за ролика в фоне и звука имхо)

Да ну?
Как догадался? )))))