基于向量空間模型的中文文本分類的研究.pdf

1、山東大學(xué)碩士學(xué)位論文摘要隨著網(wǎng)絡(luò)技術(shù)的發(fā)展，每天成指數(shù)級(jí)劇增的網(wǎng)頁(yè)和信箱出現(xiàn)的大量垃圾郵件，一方面給人類生活帶來(lái)了方便，同時(shí)也帶來(lái)了問(wèn)題。信息搜索和信息過(guò)濾己成為網(wǎng)絡(luò)上必不可少的需要。但如今的搜索引擎和過(guò)濾工具的性能的確是不能令人滿意。如何提高它們的搜索和過(guò)濾的精度已成為FTa待解決的問(wèn)題。文本分類作為文本數(shù)據(jù)的整理和組織的重要手段，成為解決以上問(wèn)題的必經(jīng)之路。起初，人們使用的是人工分類，耗時(shí)耗力近幾年，隨著機(jī)器學(xué)習(xí)理論的發(fā)展，文本自動(dòng)

2、分類開(kāi)始蓬勃地發(fā)展起來(lái)。本文主要是探討在空間向量機(jī)模型下的中文的文本自動(dòng)分類問(wèn)題?？紤]到中文與拉丁語(yǔ)系的區(qū)別，本文把重點(diǎn)也放在了中文文本的文本表示上。中文與拉丁語(yǔ)言不同就在于中文需要分詞，因而分詞精度的高低直接影響到后面文本表示上。本文提出了基于語(yǔ)意流交集的思想來(lái)生成動(dòng)態(tài)詞表，顯著地提高了中文分詞的精度。另一方面，在信息檢索的向量空間模型中，文本被形式化表示為由詞語(yǔ)權(quán)重組成的向量。因此如何讓這種向量盡量準(zhǔn)確地有效地表示出文本內(nèi)容一直是該

3、模型中的基礎(chǔ)性問(wèn)題。在這篇論文中，提出了一種基于文本集密度的特征詞選擇與權(quán)重計(jì)算方案的方法。它是一種使用詞對(duì)文本集密度的貢獻(xiàn)衡量該詞的價(jià)值的方法。使用這種方法，我們能找出不損失文本有效信息的最小特征詞語(yǔ)集，并且創(chuàng)造出更為合理權(quán)重計(jì)算方案。在文中還用了一種新的衡量權(quán)重好壞的標(biāo)準(zhǔn):元打分法，來(lái)證明提出的方法是有效的。本文的貢獻(xiàn)是:(I)對(duì)于中文文本自動(dòng)分類的技術(shù)基礎(chǔ)的選擇進(jìn)行詳盡的分析，選擇了一套科學(xué)地提高分類精度的技術(shù)。這些技術(shù)基礎(chǔ)包括模

4、型選擇、文本預(yù)處理的選擇、特征的選擇方案等等。(2)對(duì)當(dāng)前的一些主流中文文本分類算法進(jìn)行了詳細(xì)地介紹和分析。這些文本分類算法包括樸素貝葉斯算法、KNN算法、類中心向量最近距離判別算法、基于聚類粒度原理的分類算法、支持向量機(jī)、LSI.Boosting分類方法和使用最大嫡模型分類算法等等。山東大學(xué)碩士學(xué)位論文AbstractWiththedevelopmentofnetworktechnologyeverydaythereisexponen

5、tialgrowthofwebpagesandourEmailboxesarefilledwithalargeamountmails.ThecausethesurgingtroubleamountofwebpagesofertheconveniencetotheusersofjunkwhileitofgettingusefulinformationinthetimeassoonaspossibleThereforeinformation

6、retrievalandinformationfilterarebecomingnecessarytoolstotheusersofnetwork.Howeverimprovetheprecisionofthetoolsofthemisnotwell.Sohowtoistheproblem.Asanimportantmethodofcollectingandorganizingthetextdataitisthepathtosolvin

7、gtheproblem.Atearlytimespeoplecategorizedthewebpagesmanually.Theworktooktoomuchlabortime.RecentlywiththedevelopmentofmachinelearningtheoryautomatedcategorizationbeganopmgThethesisemphasizesontheautomatedChinesetextcatego

8、rizationbasedonvectorspacemodel.TakingaccountofdiferencebetweenChineseandLatinphylumChinesethethesisputsemphasisonthetextpresentation.ThediferencebetweenprocessingandLatinprocessingiswordsegmentation.Theprecisionofwordse

9、gmentationdirectlyinfluencesthenextworktextpresentationWeproposedthattheprecisionofthewordsegmentationisimprovedthroughconstructingthedynamicwordlistbasedontheintersectionoftwosemanticflowsInvectorspacemodelofinformation

10、retrievalatextisrepresentedasaweightedvectorwhichiscomposedoftermsweightingofthetext.Anditisafundamentalissuetohowtorepresentthecontentofatextasexactlyandefficientlyaspossible.Inthispaperwewillproposeamethodoffeaturesele

11、ctionandweightingschemebasedontextsetdensitywhichisawayofmeasureofcontributiontothetextsetdensityaboutsomeword.Bythemeanswecanfindthesetcontainingleastelementswhichcanrepresentallvaluableinformationofatextandinventamorer