基于文本挖掘的定向性信息分析研究.pdf

1、隨著網(wǎng)絡(luò)技術(shù)的應(yīng)用和普及，越來(lái)越多的信息充斥在網(wǎng)絡(luò)之上。如何在眾多的資源中找到適合自己需求的信息，成為眾多學(xué)者、專(zhuān)家和網(wǎng)絡(luò)用戶(hù)關(guān)心的核心問(wèn)題之一。如何幫助信息相關(guān)主體及時(shí)了解、追蹤自身或行業(yè)相關(guān)信息及社會(huì)評(píng)價(jià)對(duì)其宣傳、決策、發(fā)展及危機(jī)管理至關(guān)重要。定向性信息分析是解決這一問(wèn)題的有效方案，定向性信息分析指在挖掘個(gè)人用戶(hù)或單位用戶(hù)長(zhǎng)期關(guān)注的領(lǐng)域信息或主題信息，針對(duì)個(gè)人或機(jī)構(gòu)用戶(hù)長(zhǎng)期關(guān)注的興趣點(diǎn)，對(duì)互聯(lián)網(wǎng)信息進(jìn)行分析和追蹤，從中篩選出一個(gè)與用

2、戶(hù)興趣相關(guān)的信息子集。本文針對(duì)定向性信息分析中的信息選擇、主題分類(lèi)、文本聚類(lèi)等問(wèn)題展開(kāi)深入研究，提出能夠有效解決這些問(wèn)題的相應(yīng)方法和模型，為推動(dòng)定向性信息分析更好的發(fā)展發(fā)揮積極的作用。
　　 本文通過(guò)搜索引擎關(guān)鍵字檢索獲取的文檔來(lái)源信息，據(jù)此利用爬蟲(chóng)技術(shù)得到分析的文檔，根據(jù)定向性信息分析任務(wù)的特點(diǎn)，對(duì)定向性信息分析過(guò)程每個(gè)階段的技術(shù)和相關(guān)算法進(jìn)行了深入研究和探討，并提出一系列有效、適用的模型或算法，最終構(gòu)建了一個(gè)高效、實(shí)用的定向

3、性信息分析任務(wù)框架。本文重點(diǎn)研究了以下問(wèn)題:
　　 1、基于搜索引擎返同文本的啟發(fā)式信息抽取模型
　　 檢索返同的結(jié)果包含了標(biāo)題，內(nèi)容摘要等信息，僅以返同結(jié)果為分析對(duì)象是遠(yuǎn)遠(yuǎn)不夠的。為了得到全面的文檔分析要素，本文構(gòu)建了包含文檔正文、點(diǎn)擊量、發(fā)布時(shí)間、引用次數(shù)等文檔的XML結(jié)構(gòu)，對(duì)如何獲取每個(gè)文檔XML結(jié)構(gòu)中的元素給出了具體方法，重點(diǎn)研究了文檔正文的抽取，基于DOM樹(shù)結(jié)構(gòu)，在調(diào)查統(tǒng)計(jì)在基礎(chǔ)上，根據(jù)標(biāo)點(diǎn)符號(hào)和鏈接在止文分析

4、中的提示作用，提出布局標(biāo)簽權(quán)重的計(jì)算辦法，利用搜索引擎返同摘要確定正文的中心標(biāo)簽，描述了中心標(biāo)簽及其權(quán)重的聚合過(guò)程，將權(quán)重最人的標(biāo)簽作為正文抽取標(biāo)簽。
　　 2、用戶(hù)參與的主題聚類(lèi)與分類(lèi)框架
　　 描述了主題分類(lèi)的困難，針對(duì)定向性信息挖掘任務(wù)的特點(diǎn)，分析用戶(hù)參與主題分類(lèi)的必要性和可能性，引入文本分類(lèi)的監(jiān)督特征，提出定向性信息挖掘任務(wù)的完整主題聚類(lèi)、分類(lèi)框架。
　　 3、基于不確定概率邏輯的文本分類(lèi)模型
　　

5、 在對(duì)文本分類(lèi)技術(shù)進(jìn)行了較全面的研究基礎(chǔ)上，詳細(xì)分析了文本分類(lèi)的特征，深入討論造成分類(lèi)器偏差的原因，引入基于不確定概率邏輯的主觀邏輯理論及模型，特征對(duì)類(lèi)別的信任關(guān)系作為文本分類(lèi)的證據(jù)，提出基于不確定概率邏輯的文本分類(lèi)模型。通過(guò)觀念空間計(jì)算特征的分布權(quán)值，并將分布權(quán)值作為參數(shù)調(diào)節(jié)基礎(chǔ)權(quán)重得到特征權(quán)重，利用特征權(quán)重實(shí)現(xiàn)簡(jiǎn)單的線(xiàn)性分類(lèi)器。通過(guò)在通用分類(lèi)評(píng)測(cè)語(yǔ)料集上比較實(shí)驗(yàn)顯示，本文模型相對(duì)NB、KNN、LLSF、NNet比照算法性能（分類(lèi)準(zhǔn)

6、確率）有顯著提高，相對(duì)SVM，性能相當(dāng)，但分類(lèi)速度有明顯提升。模型對(duì)不同語(yǔ)料集有較強(qiáng)的適應(yīng)性，分類(lèi)器在沒(méi)有特征選擇的情況下，仍保持較高的性能。
　　 4、基于文本分類(lèi)和用戶(hù)參與的K-Means聚類(lèi)模型
　　 沒(méi)有任何一種聚類(lèi)聚類(lèi)算法可以普遍適用于揭示各種多維數(shù)據(jù)集所呈現(xiàn)出來(lái)的多種多樣的結(jié)構(gòu)，不同的應(yīng)用可利用的信息來(lái)源不盡相同，對(duì)聚類(lèi)質(zhì)量、效率等方面往往都有特定的要求，岡此要根據(jù)應(yīng)用場(chǎng)合，充分利用相關(guān)信息，選擇合適的聚類(lèi)算

7、法。本文詳細(xì)描述和比較了劃分式聚類(lèi)算法、層次聚類(lèi)算法、基于密度的聚類(lèi)算法、基于網(wǎng)格的聚類(lèi)算法等聚類(lèi)方法，K-Means聚類(lèi)模型無(wú)論從算法的簡(jiǎn)潔性還是效率均顯示較強(qiáng)的生命力，深入討論了K-Means聚類(lèi)模型的優(yōu)缺點(diǎn)以及改進(jìn)方法，本文引入文本分類(lèi)和用戶(hù)參與監(jiān)督信息，整合系統(tǒng)自動(dòng)監(jiān)督與人工監(jiān)督兩方面優(yōu)勢(shì)，建立基于文本分類(lèi)和用戶(hù)參與的K-Means聚類(lèi)模型，有效克服了K-Means聚類(lèi)初始K值難以確定，易陷入局部最優(yōu)等問(wèn)題，通過(guò)用戶(hù)監(jiān)督確認(rèn)下幾

8、輪迭代，產(chǎn)生了較理想的、人為可控的主題分類(lèi)結(jié)果。
　　 為能使用戶(hù)快速了解文檔的主題內(nèi)容和熱度，本文將文本分類(lèi)標(biāo)簽問(wèn)題為父標(biāo)簽，并且TFIDF值作為子標(biāo)簽選取依據(jù)，將TFIDF值大的詞語(yǔ)作為備選標(biāo)簽，引入HowNet詞典網(wǎng)絡(luò)，取得概念、范圍較為寬泛的子標(biāo)簽。借鑒網(wǎng)站傳播影響強(qiáng)度模型，定義本文文檔熱度計(jì)算方法。
　　 本文對(duì)定向性信息分析任務(wù)進(jìn)行了初步探究，緊密結(jié)合相關(guān)任務(wù)的特點(diǎn)，研究更為有效、適用的模型和算法，為今后深入