摘要技術(shù)和查詢行為分析在高校搜索引擎中的應(yīng)用與研究.pdf

1、本文以東華大學(xué)教育資源搜索引擎為研究背景，該搜索引擎主要檢索東華大學(xué)站內(nèi)信息和全國各高校的招生信息及其精品課程信息。它不僅可以方便在校師生查找校內(nèi)信息，也可以為其他學(xué)校師生和社會人士查找各高校的招生信息以及精品課程信息提供高效服務(wù)。
　　 本文主要研究兩方面內(nèi)容，一方面是研究Web頁面的自動摘要技術(shù)。研究目標是摘要既能很好的概括頁面主題又能同時考慮用戶的查詢詞；另一方面是分析用戶的查詢?nèi)罩?，主要是通過分析用戶的查詢?nèi)罩鞠蛴脩籼峁?/p>

2、查詢建議，其目的是幫助用戶更準確地描述需求信息。
　　 文本摘要技術(shù)既可以壓縮文本，減少用戶的瀏覽負擔(dān)，又可以為其他文本處理技術(shù)提供支持，逐漸成為國內(nèi)外研究的熱點。本文研究了基于統(tǒng)計的自動摘要方法對Web頁面生成摘要。其中涉及文本結(jié)構(gòu)分析、關(guān)鍵詞提取、句子重要度計算和摘要生成等關(guān)鍵技術(shù)。由于本文是對Web頁面生成摘要，因此摘要的生成也要考慮用戶輸入的查詢詞。句子重要度的計算分為兩部分：僅考慮文本信息的句子重要度計算和結(jié)合查詢詞的

3、句子重要度計算，其中，第一部分可以事先計算以提高摘要生成的效率。最后，刪除冗余句子后提取重要度高的句子作為摘要。
　　 在計算句子重要度時需要考慮多方面因素，需要對多個影響因素進行加權(quán)平均。本文主要通過遺傳算法訓(xùn)練加權(quán)系數(shù)。由于個體的適應(yīng)值差異較小，為了提高優(yōu)秀個體的選擇概率，對遺傳算法的選擇算子進行了改進。遺傳算法易于出現(xiàn)早熟收斂，當(dāng)種群出現(xiàn)早熟收斂時，利用邏輯斯諦方程，以當(dāng)前種群多個最優(yōu)個體作為初始值，重新生成種群，使種群恢

4、復(fù)多樣性，同時保留最優(yōu)個體。
　　 為了提升用戶體驗度，幫助用戶準確描述需求信息，可以通過挖掘用戶查詢?nèi)罩?，對相關(guān)查詢詞進行聚類。在用戶提交查詢請求后，搜索引擎在返回結(jié)果記錄時同時返回相關(guān)查詢建議。本文分析了K-Means聚類算法，并對算法存在的問題進行了深入的分析，然后針對這些問題提出了解決方法，進一步利用修改后的K-Means算法對用戶查詢?nèi)罩具M行聚類。在聚類時，距離的計算不僅考慮URL之間的歐式距離，同時還考慮了查詢詞之間

5、的相似性。系統(tǒng)根據(jù)用戶提交的查詢詞，查找所屬類，并返回與當(dāng)前查詢詞最相關(guān)的查詢詞作為查詢建議。為了驗證算法的有效性，本文利用修改后的算法對人工分類好的數(shù)據(jù)進行聚類，結(jié)果發(fā)現(xiàn)算法取得了很好的效果。
　　 最后，本文利用遺傳算法訓(xùn)練語料庫中的文本，得到影響因素的加權(quán)系數(shù)，然后利用得到的加權(quán)系數(shù)對一篇Web頁面生成摘要，該摘要結(jié)果能很好的概括文本主題。實驗通過分析用戶查詢?nèi)罩?，并利用修改后的聚類算法對查詢詞進行聚類，結(jié)果表明，推薦查詢