綜合風(fēng)險(xiǎn)垂直搜索引擎的研究與實(shí)現(xiàn).pdf

1、隨著Intemet信息的爆炸性增長(zhǎng)以及信息多元化的發(fā)展，通用搜索引擎已經(jīng)無(wú)法提供令專業(yè)人員滿足的行業(yè)知識(shí)搜索，而提供專業(yè)信息搜索服務(wù)的垂直搜索引擎正逐漸成為當(dāng)前搜索引擎研究的熱點(diǎn)。文章分析當(dāng)前Web信息檢索的模型及算法，并針對(duì)基于文本分類器的綜合風(fēng)險(xiǎn)行業(yè)信息垂直搜索中的一些關(guān)鍵問題展開研究，主要包括三個(gè)核心模塊：綜合風(fēng)險(xiǎn)的信息分類、信息爬取和信息索引。研究?jī)?nèi)容包括： 1．提出了一種遺傳算法與支持向量機(jī)相結(jié)合的Web文本分類器模型

2、。結(jié)合HTML標(biāo)記權(quán)重信息建立向量空間模型，彌補(bǔ)了特征項(xiàng)在文本集合中分布的差異。向量空間的特征選擇上采用改進(jìn)了交叉算子的遺傳算法，降低了向量維數(shù)。分類算法分析了支持向量機(jī)在Web文本分類中的優(yōu)勢(shì)，采用支持向量機(jī)算法，通過對(duì)比實(shí)驗(yàn)證明了該分類器模型的有效性。 2．改進(jìn)了爬行器中動(dòng)態(tài)搜索的Fish算法。去掉了Fish算法中對(duì)風(fēng)險(xiǎn)信息爬取意義不大的中間部分，改進(jìn)了Fish算法中的URL排序算法。爬蟲設(shè)計(jì)上提出了基于Strategy模式

3、的搜索策略模塊設(shè)計(jì)，提高了系統(tǒng)的可擴(kuò)展性。 3．建立了一個(gè)單漢字索引數(shù)據(jù)庫(kù)。分析了基于分詞的索引模型和基于單漢字的索引模型，針對(duì)綜合風(fēng)險(xiǎn)詞匯更新較快的特點(diǎn)和分詞索引的不足，利用倒排索引技術(shù)建立了單漢字索引數(shù)據(jù)庫(kù)。用戶查詢使用“首字定位，全詞匹配”的查詢算法，提高了查詢效率。 4．設(shè)計(jì)實(shí)現(xiàn)了一個(gè)綜合風(fēng)險(xiǎn)垂直搜索引擎，提供風(fēng)險(xiǎn)行業(yè)的信息搜索專業(yè)性服務(wù)，具有良好的可擴(kuò)展性。 本課題得到了“十一五”國(guó)家科技支撐計(jì)劃重點(diǎn)項(xiàng)