面向文本的主題挖掘技術(shù)與實(shí)現(xiàn).pdf

1、隨著信息時(shí)代的到來，互聯(lián)網(wǎng)技術(shù)得到了飛速的發(fā)展，數(shù)字化圖書館、數(shù)字化辦公也變得越來越普及，于是網(wǎng)絡(luò)上的信息在以幾何級(jí)數(shù)般的速度在膨脹。面對(duì)網(wǎng)絡(luò)上如此浩瀚的信息，和人們有限的精力，快速提取出自己需要的信息，成為了人們的迫切需求。目前存在的主題挖掘系統(tǒng)，能夠提取出文檔的主題，從一定程度上滿足了人們的需求，但是它們大都存在著效率低，主題提取不準(zhǔn)確的問題，為此，本課題認(rèn)真分析了他們的不足之處，通過改進(jìn)提出了一種面向文本的主題挖掘的新技術(shù)。

2、>　　 面向文本的主題挖掘技術(shù)，旨在利用日益成熟的文本挖掘技術(shù)，首先抽取某一領(lǐng)域的一篇文檔，和其他領(lǐng)域的幾百篇文檔，進(jìn)行特征表示和中文切詞處理，然后統(tǒng)計(jì)詞頻，計(jì)算權(quán)重大小，得出這一領(lǐng)域的此篇文檔中的詞語，在代表該領(lǐng)域詞語特征方面的重要程度。一般認(rèn)為，一個(gè)詞語在該領(lǐng)域內(nèi)越重要，那么它在該領(lǐng)域的文檔中的出現(xiàn)頻率就越高，而在其它領(lǐng)域內(nèi)的出現(xiàn)頻率越低，甚至不出現(xiàn)。然后按重要程度的大小排序，并按比例提取詞語放入該領(lǐng)域的詞庫(kù)中。同時(shí)，很多文本文檔

3、都帶有標(biāo)題、摘要、關(guān)鍵字等信息，而這些信息跟正文相比，對(duì)于文本主題的貢獻(xiàn)程度是不同的，它們往往都是經(jīng)過作者提煉加工得出的，因此，比正文信息更能代表文檔的中心思想，所以還要對(duì)將這些信息經(jīng)過切詞處理后與正文信息進(jìn)行詞語相似度計(jì)算，將符合閾值要求的詞語加入到該領(lǐng)域的詞庫(kù)中，然后還要將中文切詞中切碎的詞語，進(jìn)行組合詞拼接，以使專業(yè)詞語保留在該領(lǐng)域的主題詞庫(kù)中，最后，按比例提取主題詞，得到該領(lǐng)域的主題詞庫(kù)，同時(shí)，由于“爸爸”與“父親”具有相同的含

4、義，因此，還需要將得到的該領(lǐng)域的主題詞庫(kù)中的詞語查找同義詞表，并將這些詞語的同義詞一塊加入到該領(lǐng)域的詞庫(kù)中。通過不斷的訓(xùn)練，該領(lǐng)域的文檔，逐步擴(kuò)展該領(lǐng)域的詞語數(shù)，并且通過設(shè)定的參數(shù)優(yōu)化本領(lǐng)域中的詞語，使其保留最具代表性的詞語，提高主題發(fā)現(xiàn)的效率和準(zhǔn)確性。
　　 在得到的領(lǐng)域詞庫(kù)的輔助下，將需要進(jìn)行主題挖掘的文檔經(jīng)過特征表示后，用該領(lǐng)域的主題詞庫(kù)進(jìn)行切詞處理，通過詞頻統(tǒng)計(jì)和權(quán)重計(jì)算后，得到按權(quán)重大小排序的詞集，最終得到形如“體育→

5、足球→任意球技術(shù)”的主題。
　　 實(shí)驗(yàn)表明：在建立領(lǐng)域詞庫(kù)的過程中該方法的準(zhǔn)確率在80％以上，并會(huì)隨著背景文檔數(shù)的增加，準(zhǔn)確率成緩慢上升的趨勢(shì)，因?yàn)殡S著詞語數(shù)量的增加，專業(yè)詞語在該領(lǐng)域中的出現(xiàn)頻率不變而在其它領(lǐng)域中的出現(xiàn)頻率會(huì)逐漸降低，這樣經(jīng)過權(quán)重計(jì)算，就會(huì)使主題提取的準(zhǔn)確率提高。
　　 在主題提取實(shí)驗(yàn)中，該方法在領(lǐng)域詞庫(kù)的幫助下，能夠準(zhǔn)確、高效的提取出該文檔表達(dá)的主要思想，能夠幫助人們從浩瀚的文本信息中，快速識(shí)別自己需