基于Web挖掘的紡織專業(yè)搜索引擎設(shè)計.pdf

1、互聯(lián)網(wǎng)上的信息以幾何級數(shù)的速度膨脹，為了從紛繁蕪雜的信息海洋中找到有用的信息，人們借助搜索引擎搜尋所需信息。Yahoo、Google、Baidu等就是比較有代表性的搜索引擎?？墒沁@種通用搜索引擎無法滿足人們對專題性信息的需求。因此需要研究開發(fā)面向特定領(lǐng)域的專業(yè)搜索引擎來對專業(yè)領(lǐng)域信息進(jìn)行檢索。 本文設(shè)計了一個紡織專業(yè)搜索引擎系統(tǒng)，詳細(xì)設(shè)計了系統(tǒng)中的重要模塊并對模塊中的關(guān)鍵技術(shù)進(jìn)行了研究。本文的研究內(nèi)容如下： 1、給出了紡

2、織專業(yè)主題爬行器的詳細(xì)設(shè)計 提高主題爬行器的效率問題。一方面通過協(xié)調(diào)器對網(wǎng)絡(luò)爬蟲抓取的URL按照一定規(guī)則進(jìn)行調(diào)度，避免了由于網(wǎng)絡(luò)爬蟲的負(fù)載不平衡造成的資源分配不均；另一方面在掃描網(wǎng)頁源代碼獲取抓取的URL的同時，設(shè)計目標(biāo)網(wǎng)頁內(nèi)容過濾/預(yù)測模型來確定待采頁面，對網(wǎng)頁所含的超鏈接進(jìn)行剪切與分類，按照相關(guān)鏈接采集、不相關(guān)鏈接直接丟棄的原則進(jìn)行剪枝處理，減少網(wǎng)絡(luò)蜘蛛頁面采集的工作量。 2、針對主題爬行器中涉及的文本分類技術(shù)進(jìn)行了

3、改進(jìn)。 在向量空間模型表示網(wǎng)頁文本時，特征項在文本集合中位置分布的不同會引起權(quán)值的差異的問題。針對此問題本文改進(jìn)了特征項權(quán)值的計算公式以更好的體現(xiàn)網(wǎng)頁的結(jié)構(gòu)特征。傳統(tǒng)的K最近鄰分類方法存在一個很致命的問題就是如果訓(xùn)練集的數(shù)據(jù)量很大，該方法很難實現(xiàn)全局的最優(yōu)搜索，為了加速K個最近鄰的搜索，本文采用了一種基于K最近鄰的快速文本分類方法，使在海量數(shù)據(jù)集中進(jìn)行快速有效分類成為可能。 3、對檢索器中的網(wǎng)頁排序算法進(jìn)行了改進(jìn)