數(shù)據(jù)清洗技術(shù)在文本挖掘中的應(yīng)用.pdf

1、目前，對于Web文本挖掘的研究主要還是利用相關(guān)特征值進行相關(guān)領(lǐng)域信息進行篩選，而無法識別部分信息中明顯存在錯誤的信息或者明顯和研究者不相關(guān)的信息。本文主要研究的是建立全新的面向XML的Web文本挖掘模型，采取數(shù)據(jù)清洗技術(shù)，就XML數(shù)據(jù)的模式級和實例級兩大種類的數(shù)據(jù)質(zhì)量問題來進行深層次挖掘，研究了一種新的算法用以提高文本挖掘的手段和能力，實現(xiàn)對Web頁面文本進行有效和快速的挖掘。最后中利用Web的文本資料進行實驗，證明該算法在文本挖掘中的

2、可行性和有效性。 第一部分：緒論。引入問題，介紹國內(nèi)外文本挖掘和數(shù)據(jù)清洗方面的研究現(xiàn)狀以及目前存在的問題； 第二部分?jǐn)?shù)據(jù)清洗與文本挖掘基本理論研究。首先，介紹了數(shù)據(jù)質(zhì)量的概念和分類，并對數(shù)據(jù)清洗的基本理論做了詳細(xì)的闡釋。而后，簡要介紹了文本挖掘的基礎(chǔ)知識及一些相關(guān)技術(shù)規(guī)范，為后續(xù)章節(jié)打下理論基礎(chǔ)； 第三部分面向數(shù)據(jù)清洗文本挖掘方法的研究。并在結(jié)構(gòu)化數(shù)據(jù)清洗研究的基礎(chǔ)上，研究了專門針對半結(jié)構(gòu)化數(shù)據(jù)的數(shù)據(jù)清洗方法，并