基于word2vec的維吾爾文文本過濾研究.pdf

1、隨著大規(guī)模存儲(chǔ)技術(shù)、互聯(lián)網(wǎng)及數(shù)字通信業(yè)務(wù)的迅速發(fā)展，電子出版、數(shù)字圖書館、互聯(lián)網(wǎng)網(wǎng)站以及移動(dòng)通信正在引發(fā)著不斷膨脹的文本海嘯。這種快速、無序的信息增長(zhǎng)對(duì)于信息的使用者來說卻意味著混亂，是一種文本災(zāi)難。此外，污染互聯(lián)網(wǎng)環(huán)境的無用、有害、非法信息到處散發(fā)，垃圾郵件和手機(jī)短信的侵?jǐn)_，嚴(yán)重干擾了人們的學(xué)習(xí)、工作和生活，甚至對(duì)社會(huì)秩序、人們的切身利益構(gòu)成嚴(yán)重威脅。因此，撥開海量信息的重重迷霧，以一種高效的方式汲取真正需要的養(yǎng)分，從而有效抵制無用、

2、有害、垃圾信息的需求顯得尤為重要和迫切。在這種背景下，文本過濾成為一個(gè)亟待解決的科學(xué)問題，引起了自然語言處理領(lǐng)域相關(guān)專家學(xué)者們的極大重視和關(guān)注，并已成為當(dāng)今信息技術(shù)領(lǐng)域研究熱點(diǎn)。
　　本文將多模式匹配算法、詞向量以及維、漢詞典結(jié)合在一起，研究了一種基于模式匹配的維吾爾文文本過濾方法。為了提高過濾召回率，利用 word2vec對(duì)選定的維吾爾文模式進(jìn)行擴(kuò)充，但是在擴(kuò)充過程中，由于 word2vec目前不能直接處理維吾爾文數(shù)據(jù)，所以利用

3、維、漢詞典處理維吾爾文與中文之間的模式雙向轉(zhuǎn)換。此外，為了提高過濾準(zhǔn)確率，結(jié)合維吾爾文的詞法特性對(duì)于 wu-manber算法的匹配策略做了改進(jìn)，不僅匹配詞干還對(duì)詞綴進(jìn)行匹配，從而彌補(bǔ)了目前詞干切分工具的不足和缺陷，提出了一種更適合于維吾爾文的多模式匹配算法—WSMM-ug算法。
　　最后，我們將以上技術(shù)和方法集成到一起，實(shí)現(xiàn)了一種維吾爾文過濾系統(tǒng)，并對(duì)不同類別的維吾爾文文本數(shù)據(jù)進(jìn)行過濾。實(shí)驗(yàn)結(jié)果表明，該系統(tǒng)的準(zhǔn)確率和召回率相較于未