面向購(gòu)物的聚類搜索引擎的研究與實(shí)現(xiàn).pdf

1、據(jù)統(tǒng)計(jì)目前互聯(lián)網(wǎng)上電子商務(wù)網(wǎng)站提供的商品總數(shù)達(dá)到10億以上,而目前已有的購(gòu)物搜索引擎對(duì)用戶的查詢只是按相關(guān)性返回大量的結(jié)果,并沒(méi)有對(duì)眾多的結(jié)果進(jìn)行有效的組織和歸類,所以用戶無(wú)法從搜索引擎的返回結(jié)果中快速找到有效信息。因此如何使搜索引擎的返回結(jié)果對(duì)用戶更加有價(jià)值的研究成為一個(gè)熱點(diǎn)課題。由于網(wǎng)頁(yè)聚類技術(shù)可以對(duì)搜索結(jié)果進(jìn)行自動(dòng)組織和分類,所以可以使用戶更加直觀和方便的找到所需要的信息。因此本文設(shè)計(jì)和實(shí)現(xiàn)了一個(gè)面向購(gòu)物領(lǐng)域的聚類搜索引擎來(lái)解決目

2、前購(gòu)物搜索引擎存在的難題。本文完成的主要工作任務(wù)如下:
　　 1、在分析了本系統(tǒng)功能需求的前提下,設(shè)計(jì)了本系統(tǒng)的整體架構(gòu)。然后深入研究了主題爬蟲(chóng)MetaSeeker工作流程、Lucene的檢索原理和網(wǎng)頁(yè)聚類技術(shù)等實(shí)現(xiàn)系統(tǒng)的相關(guān)技術(shù)。
　　 2、對(duì)K-Means算法進(jìn)行優(yōu)缺點(diǎn)分析。然后深入研究相似性傳播算法(AffinityPropagation,AP算法),并針對(duì)該算法中的生成簇集的過(guò)程進(jìn)行改進(jìn)。最后通過(guò)實(shí)驗(yàn)分析K-Me

3、ans、AP算法、改進(jìn)的AP算法三者的運(yùn)行時(shí)間、聚類效果、聚類純度,實(shí)驗(yàn)證明改進(jìn)的AP算法是最高效和最優(yōu)的。
　　 3、在構(gòu)建本系統(tǒng)的聚類模型的時(shí)候,根據(jù)本系統(tǒng)文本特征提出了一種適合本系統(tǒng)的相似度計(jì)算模型。
　　 4、實(shí)現(xiàn)了面向購(gòu)物領(lǐng)域的聚類搜索引擎的整體開(kāi)發(fā),具體任務(wù)包括:首先用MetaSeeker主題爬蟲(chóng)采集數(shù)據(jù)源,然后在Lucene上實(shí)現(xiàn)本系統(tǒng)的索引、搜索和聚類三個(gè)模塊,最后用PHP實(shí)現(xiàn)了用戶查詢接口。通過(guò)對(duì)本系統(tǒng)