版權(quán)說(shuō)明:本文檔由用戶提供并上傳,收益歸屬內(nèi)容提供方,若內(nèi)容存在侵權(quán),請(qǐng)進(jìn)行舉報(bào)或認(rèn)領(lǐng)
文檔簡(jiǎn)介
1、隨著互聯(lián)網(wǎng)時(shí)代的快速推進(jìn),人們接觸的信息資源呈爆炸性發(fā)展的趨勢(shì),同時(shí),人們獲得信息的方式和途徑也呈現(xiàn)多元化發(fā)展的態(tài)勢(shì)。如何從這些錯(cuò)綜復(fù)雜的信息中全面、準(zhǔn)確無(wú)誤地提取自己所需信息,幫助用戶收集自己所感興趣的資料成為當(dāng)前信息科技領(lǐng)域的一大研究熱點(diǎn)。
數(shù)據(jù)挖掘作為一種揭示數(shù)據(jù)模式和數(shù)據(jù)間關(guān)系的處理技術(shù),它通過(guò)對(duì)海量復(fù)雜數(shù)據(jù)深入的剖析,挖掘出數(shù)據(jù)內(nèi)部新的關(guān)系或潛在的趨勢(shì),為數(shù)據(jù)提取和知識(shí)發(fā)現(xiàn)提供了一種良好的解決方法。其中,文本分類作為
2、數(shù)據(jù)挖掘中一個(gè)常見的研究熱點(diǎn)方向,按照一定的規(guī)則利用訓(xùn)練完成的分類器標(biāo)記沒(méi)有分類的文本的類別,在很多方面有著很是廣泛的應(yīng)用范圍。
二十世紀(jì)九十年代之前的文本分類純靠人工操作去完成。人工方法要求參與分類的人員要具有相應(yīng)領(lǐng)域的專業(yè)知識(shí),根據(jù)個(gè)人的知識(shí)儲(chǔ)備對(duì)文檔進(jìn)行類別的劃分。這種分類方法不僅耗費(fèi)大量時(shí)間,而且浪費(fèi)大量人力資源,不同人員可能由于主觀原因?qū)ν晃谋敬嬖诓煌姆诸愐庖?引起分類結(jié)果存在多個(gè)不同值,所以人工方法難以保持分類
3、結(jié)果的準(zhǔn)確性。后來(lái),對(duì)機(jī)器學(xué)習(xí)的研究不斷深入,機(jī)器學(xué)習(xí)的知識(shí)逐漸應(yīng)用到文本分類中并得到長(zhǎng)足發(fā)展。這種分類方法首先通過(guò)對(duì)待分類文本的預(yù)處理,包括去停留詞、詞根還原,網(wǎng)頁(yè)可能還需去除一些網(wǎng)頁(yè)標(biāo)記等,通過(guò)這步的處理,將對(duì)分類不起作用或起很小作用的文本元素去除;然后運(yùn)用特征提取算法,提取出可以表示文檔所屬主題(即文檔所屬的類別)的特征;建立適合分類的特定模型,對(duì)分類器用處理過(guò)的文本去訓(xùn)練;訓(xùn)練完畢,分類測(cè)試及評(píng)價(jià)。相比于人工方法,基于機(jī)器學(xué)習(xí)的
4、文本分類不僅分類速度快,減少了大量的人力、物力輸出,而且有效的提高了分類結(jié)果的準(zhǔn)確率。
但無(wú)論是利用信息增益、互信息還是向量聚合等技術(shù)進(jìn)行文本的特征提取,都沒(méi)有考慮文本內(nèi)部單字、詞語(yǔ)、句子等元素之間的隱含關(guān)系對(duì)分類結(jié)果的影響;而且目前的信息數(shù)據(jù)呈現(xiàn)高維、非線性等特征,沿用傳統(tǒng)的特征提取算法會(huì)造成對(duì)現(xiàn)有數(shù)據(jù)的分析達(dá)不到穩(wěn)健性和高準(zhǔn)確性要求。
對(duì)于上面存在的幾個(gè)問(wèn)題,本文提出一種新的處理辦法用于數(shù)據(jù)處理方面。在充分分析同
5、義詞詞林(擴(kuò)展版)的編碼及結(jié)構(gòu)特點(diǎn)的情況下,將詞林中的詞語(yǔ)相似度計(jì)算方法應(yīng)用到文本數(shù)據(jù)處理上以此強(qiáng)化特征項(xiàng)的權(quán)重,在對(duì)知網(wǎng)的結(jié)構(gòu)充分了解的情況下利用知網(wǎng)中的詞語(yǔ)相關(guān)度計(jì)算方法實(shí)現(xiàn)特征向量權(quán)重的再賦值;通過(guò)非線性的降維算法中的局部線性嵌入算法實(shí)現(xiàn)降維處理。
本文所做主要工作如下:
(1)實(shí)驗(yàn)采用的語(yǔ)料庫(kù)中的訓(xùn)練文本集和測(cè)試文本集都存在垃圾數(shù)據(jù),例如,有的文檔只有文章頭,沒(méi)有實(shí)際文章內(nèi)容;有的文檔是個(gè)空文檔;存在重復(fù)的文
6、檔等,這樣的文檔對(duì)分類不起任何作用,反而在一定程度上可能會(huì)對(duì)分類結(jié)果造成影響,通過(guò)對(duì)語(yǔ)料庫(kù)的降噪處理,去除無(wú)用的數(shù)據(jù),保留對(duì)分類有用的數(shù)據(jù)。
(2)一篇文章一個(gè)概念可以用不同的詞語(yǔ)表達(dá),例如,同時(shí)表達(dá)“高興”之意,可能有的人會(huì)用“歡快”,有的人會(huì)用“愉悅”,這樣的確可以提高文章的可讀性,這樣在豐富文章閱讀性的同時(shí),但對(duì)特征提取帶來(lái)一定困難。電腦不像人可以很簡(jiǎn)單的分辨出同義詞、近義詞,容易導(dǎo)致在特征提取時(shí)把概念一樣的詞語(yǔ)提取成不
7、同主題的特征,從而影響分類結(jié)果。針對(duì)這個(gè)問(wèn)題,將詞林中的詞語(yǔ)相似度計(jì)算方法應(yīng)用到文本數(shù)據(jù)處理上,對(duì)相似度值達(dá)到一定閾值的詞語(yǔ)進(jìn)行合并以此強(qiáng)化特征項(xiàng)的權(quán)重,盡可能減小問(wèn)題帶來(lái)的不必要的影響。
(3)為了挖掘出文本內(nèi)部字詞句元素之間的隱含關(guān)系,利用知網(wǎng)中的詞語(yǔ)相關(guān)度計(jì)算方法實(shí)現(xiàn)特征向量權(quán)重的再賦值,以此提高結(jié)果的準(zhǔn)確性。
(4)局部線性嵌入算法與傳統(tǒng)特征提取算法相比,能夠提取出原本在高維數(shù)特征空間中的較低維數(shù)的流形,降維
溫馨提示
- 1. 本站所有資源如無(wú)特殊說(shuō)明,都需要本地電腦安裝OFFICE2007和PDF閱讀器。圖紙軟件為CAD,CAXA,PROE,UG,SolidWorks等.壓縮文件請(qǐng)下載最新的WinRAR軟件解壓。
- 2. 本站的文檔不包含任何第三方提供的附件圖紙等,如果需要附件,請(qǐng)聯(lián)系上傳者。文件的所有權(quán)益歸上傳用戶所有。
- 3. 本站RAR壓縮包中若帶圖紙,網(wǎng)頁(yè)內(nèi)容里面會(huì)有圖紙預(yù)覽,若沒(méi)有圖紙預(yù)覽就沒(méi)有圖紙。
- 4. 未經(jīng)權(quán)益所有人同意不得將文件中的內(nèi)容挪作商業(yè)或盈利用途。
- 5. 眾賞文庫(kù)僅提供信息存儲(chǔ)空間,僅對(duì)用戶上傳內(nèi)容的表現(xiàn)方式做保護(hù)處理,對(duì)用戶上傳分享的文檔內(nèi)容本身不做任何修改或編輯,并不能對(duì)任何下載內(nèi)容負(fù)責(zé)。
- 6. 下載文件中如有侵權(quán)或不適當(dāng)內(nèi)容,請(qǐng)與我們聯(lián)系,我們立即糾正。
- 7. 本站不保證下載資源的準(zhǔn)確性、安全性和完整性, 同時(shí)也不承擔(dān)用戶因使用這些下載資源對(duì)自己和他人造成任何形式的傷害或損失。
最新文檔
- 基本數(shù)據(jù)處理算法內(nèi)容提要
- 中文文本數(shù)據(jù)分類研究.pdf
- 高度測(cè)量數(shù)據(jù)處理及算法的研究.pdf
- Web文本數(shù)據(jù)挖掘研究.pdf
- 面向圖流和文本數(shù)據(jù)分類的哈希方法研究.pdf
- 文本數(shù)字水印算法研究.pdf
- 色譜指紋數(shù)據(jù)處理算法研究及應(yīng)用.pdf
- 高精度GNSS數(shù)據(jù)處理及關(guān)鍵算法研究.pdf
- 文本數(shù)據(jù)聚類算法的若干關(guān)鍵技術(shù)及應(yīng)用研究.pdf
- 車載姿態(tài)測(cè)量裝置及數(shù)據(jù)處理算法研究.pdf
- 高維小樣本數(shù)據(jù)的特征提取及分類器算法研究.pdf
- 盲波束形成算法研究及海試數(shù)據(jù)處理.pdf
- 基于超網(wǎng)絡(luò)的不平衡中文文本數(shù)據(jù)分類.pdf
- 貝葉斯分類器的增量學(xué)習(xí)及缺失數(shù)據(jù)處理的研究.pdf
- 面向高維小樣本數(shù)據(jù)的分類特征選擇算法研究.pdf
- 散亂點(diǎn)云數(shù)據(jù)處理相關(guān)算法的研究.pdf
- 基于WWW的文本數(shù)據(jù)挖掘研究.pdf
- 中文文本分類中文本表示及分類算法研究.pdf
- 芻議政府成本管理類績(jī)效審計(jì)成本數(shù)據(jù)處理
- 實(shí)證研究方法及數(shù)據(jù)處理
評(píng)論
0/150
提交評(píng)論