php를 이용한 검색엔진

안녕하세요.

php를 이용하여 예전에 만들어본 검색엔진 코드입니다.

모델은 벡터모델을 이용하여 제작하였습니다.

랭킹은 바이그램 색인을 이용하여 역색인 파일을 만들고

가중치를 tf*idf로 계산하였습니다.

단점으로는 단어간의 독립성으로 인해 발생하는 문제를 해결하진 못했습니다.. ㅠㅠ

알고리즘입니다.

1. 검색을 하기 전 문서 DB를 만든다(Make_DB()). 문서 DB는 크롤러를 통해 수집할 수도 있지만 없기에 직접 DB에 입력하기로 했다.

2. 만들어진 문서 DB를 토대로 바이그램을 하여 역색인 단어 DB를 만든다 (Rever_DB())

3. 2의 단계까지 검색 전 데이터 셋을 만드는 과정이다. 이후 index페이지에서 검색을 한다.(Input())

4. 검색 시 Rever_DB에서 단어를 찾고 그 결과를 저장한다.

4. 저장한 값을 가중치를 통해 순서를 정한다 (Rank())

5. 순서가 결정된 검색 순서대로 출력을 한다. (Output())

6. 만약 검색 시 DB에 단어가 없다면 검색된 단어가 없다고 출력을 한다. (NoData)

이러한 알고리즘을 기반으로 다음과 같이 코딩했습니다.

---------------------------------------------Index.php----------------------------------------------

<html>

<head>

</head>

<body>

</div>

</form>

</body>

</html>

--------------------------------------------Rever.php----------------------------------------------

<?php

header("Content-type: text/html; charset=utf-8");

$conn = mysql_connect("localhost", "root", "apmsetup") or die(mysql_error()); // DB접속

mysql_select_db("G"); // DB 선택

mysql_query("SET NAMES 'utf8'"); // DB charset과 맞춤

$tablename = "doc"; // Table 선택

$sql = "select * from $tablename"; // table의 모든 데이터를 가져옴

$result = mysql_query($sql) or die (mysql_error()); // 쿼리문 시작

$tablename1 = "rever";

$sql1 = "select * from $tablename1"; // table의 모든 데이터를 가져옴

$result1 = mysql_query($sql1) or die (mysql_error()); // 쿼리문 시작

function mb_str_split($str){

$ret = array();

for ($i=0; $i<mb_strlen($str, "utf-8"); $i++){

array_push($ret, mb_substr($str, $i, 2, "utf-8"));

}

return $ret;

}

//$row = mysql_fetch_array($result)

//$row1 = $row

while($row = mysql_fetch_array($result))

{

$dnoun_tmp = preg_replace("[$|$|\ㆍ|\ |\[|\]|\{|\}|\,|\.|\·|\?|\!|\'|\\|\"]", "", $row[content]);

$arr = mb_str_split($dnoun_tmp);

$a = count($arr);

//echo $arr[1];

for($i = 0; $i <$a; $i++)

{

$sql = "INSERT INTO `g`.`rever` (

`num` ,

`text` ,

`doc_num`

)

VALUES (

NULL , '$arr[$i]', '$row[doc_num]'

);";

$result1 = mysql_query($sql) or die (mysql_error());

}

--------------------------------------------Search.php---------------------------------------------

<?php

header("Content-type: text/html; charset=utf-8"); // DB와 charset을 맟춤

$conn = mysql_connect("localhost", "root", "apmsetup") or die(mysql_error()); // DB접속

mysql_select_db("G"); // DB 선택

mysql_query("SET NAMES 'utf8'"); // DB charset과 맞춤

$tablename = "doc"; // 문서 Table 선택

$sql = "select * from $tablename"; // table의 모든 데이터를 가져옴

$result = mysql_query($sql) or die (mysql_error()); // 쿼리문 시작

$tablename1 = "rever"; // 역색인 파일 Table 선택

$sql1 = "select * from $tablename1"; // table의 모든 데이터를 가져옴

$result1 = mysql_query($sql1) or die (mysql_error()); // 쿼리문 시작

function mb_str_split($str){ // 이 함수는 한글을 2글자씩 잘라서 배열에 넣음

$ret = array();

for ($i=0; $i<mb_strlen($str, "utf-8"); $i++){

array_push($ret, mb_substr($str, $i, 2, "utf-8"));

}

return $ret;

}

<html>

<head>

<title>Search</title>

</head>

<body>

</div>

</form>

</br>

<?php

echo "<table align = 'center' width='1000px'>";

echo "<tr><th>$_POST[search]"; // post로 넘어온 값을 띄워줌

echo"의 검색결과";

echo "입니다.</th></tr>";

$ct; // TF 저장 공간

$q; // 질의문

$doc_num; // 문서 번호 저장 공간

$content; // 문서 내용 저장 공간

$title; // 문서 재목 저장공간

$url; // 문서 url 저장 공간

$w = 0; // 처음 시작 지점 설정 변수

$ftitle; // 최종 출력할 제목

$furl; // 최종 출력할 url

$fcontent; // 최종 출력할 문서 내용

$fdoc_num; // 최종으로 저장할 문서의 번호

$input = $_POST[search]; // 질의어를 저장하는 변수

$dnoun_tmp = preg_replace("[$|$|\ㆍ|\ |\[|\]|\{|\}|\,|\.|\·|\?|\!|\'|\\|\"]", "", $input); // 질의어의 빈칸을 없앰

$query = mb_str_split($dnoun_tmp); //질의어를 2글자로 자름

$qq = count($query);

while($dd = mysql_fetch_array($result1)) // 역색인 파일을 검색함

{

if ($dd[text]==$query[0]) // 질의어와 역색인 파일이 같다면

{

if($w==1)

{

for($i=0; $i < $c; $i++) // 검색된 내용 비교하여 저장

{

if($doc_num[$i] == $dd[doc_num]) // TF증가

{

$ct[$i] ++;

break;

}

if($doc_num[$i] != $dd[doc_num]) // for문 제어

{

$hh++;

}

if($hh == $c) // 새로운 색인어가 들어온다면 새로 단어 저장

{

$q[$c] = $input;

$doc_num[$c] = $dd[doc_num];

$ct[$c] ++;

while($row = mysql_fetch_array($result)) // 역색인DB를 이용하여 postDB생성

{

if($doc_num[$c]==$row[doc_num])

{

$title[$c] = $row[title];

$content[$c] = $row[content];

$url[$c] = $row[url];

break;

}

$hh = 0;

if($w==0) // 초기 시작

{

$q[0] = $input;

$doc_num[0] = $dd[doc_num];

$ct[0] ++;

$w++;

while($row = mysql_fetch_array($result)) //index파일의 문서번호를 이용하여 본문 문서 내용 저장

{

if($doc_num[0]==$row[doc_num])

{

$title[0] = $row[title];

$content[0] = $row[content];

$url[0] = $row[url];

break;

}

$c = count($doc_num); //배열의 길이

}

if($c == 0) // 검색결과 없을 시

{

echo "<tr><th>검색된 결과가 없습니다.</th></tr>";

}

if ($c!=0) // 검색결과 있을 시

{

$fct=$ct;

rsort($fct);

$m = log(100/$c, 2);

for($j=0; $j<$c; $j++) //검색된 문서들을 백터 모델로 랭킹함

{

for ($l = 0; $l < count($fct); $l++)

{

if($fct[$j]==$ct[$l])

{

if($fdoc_num[$j] == NULL)

{

$cal[$j] = $ct[$l];

$ct[$l]=NULL;

$fdoc_num[$j] = $doc_num[$l];

$ftitle[$j] = $title[$l];

$furl[$j] = $url[$l];

$fcontent[$j] = $content[$l];

}

for($j = 0; $j < $c; $j++) //검색된 문서들을 랭킹함

{

$n = 1 + log($fct[$j], 2);

$kk = $n * $m;

$kkk[$j] = $kk * $kk;

$kkkk = $kkkk+$kkk[$j];

$kkkkk[$j] = $n / sqrt($kkkk);

}

for($j = 0; $j < $c; $j++) // 랭킹된 결과 출력

{

if($c>6) // 5개 이상 출력 될 경우

{

for($j = 0; $j < 5; $j++)

{

$n = 1 + log($fct[$j], 2);

$kk = $n * $m;

$kkk = cos($kk);

echo "<tr><td width='47%' align='left'>";

echo $ftitle[$j];

echo "</td>";

echo "<td><a href='$url'>";

echo $furl[$j];

echo "</a></td></tr>";

echo "<tr><td colspan='2' >";

echo $fcontent[$j];

echo "</tr></td><tr><td>";

echo $kkkkk[$j];

echo "</tr></td><tr><td colspan='2' ><hr></tr></td>";

}

break;

}

else //5개 이하일 경우

{

$n = 1 + log($fct[$j], 2);

$kk = $n * $m;

$kkk = cos($kk);

echo "<tr><td width='47%' align='left'>";

echo $ftitle[$j];

echo "</td>";

echo "<td><a href='$url'>";

echo $furl[$j];

echo "</a></td></tr>";

echo "<tr><td colspan='2' >";

echo $fcontent[$j];

echo "</tr></td><tr><td>";

echo $kkkkk[$j];

echo "</tr></td><tr><td colspan='2' ><hr></tr></td>";

}}}

</body>

</html>

실제 동작 화면입니다.

결론으로는

손으로 뉴스 100개를 일일히 넣는건 고난이었습니다...

왜 크롤러가 있는지 알게된 날이었습니다.