電子政務(wù)系統(tǒng)中海量數(shù)據(jù)清洗方法研究與應(yīng)用.pdf

1、隨著信息技術(shù)的快速發(fā)展，管理者在進(jìn)行決策分析和制定時(shí)不能單純依靠以往的經(jīng)驗(yàn)，必須借助必要的數(shù)據(jù)來(lái)進(jìn)行科學(xué)的管理。這導(dǎo)致管理人員進(jìn)行決策分析時(shí)對(duì)數(shù)據(jù)的依賴性更加強(qiáng)烈。為了使分析盡可能的準(zhǔn)確，人們提出了建立數(shù)據(jù)倉(cāng)庫(kù)的要求。但是在構(gòu)建數(shù)據(jù)倉(cāng)庫(kù)的過(guò)程中，會(huì)不可避免的存在各種各樣的數(shù)據(jù)質(zhì)量問(wèn)題，這必然會(huì)影響數(shù)據(jù)倉(cāng)庫(kù)前端的決策支持系統(tǒng)產(chǎn)生錯(cuò)誤的分析結(jié)果。為了過(guò)濾掉這些質(zhì)量問(wèn)題，必須對(duì)其進(jìn)行數(shù)據(jù)清洗來(lái)提高數(shù)據(jù)質(zhì)量。數(shù)據(jù)清洗已經(jīng)成為數(shù)據(jù)倉(cāng)庫(kù)、數(shù)據(jù)挖掘以

2、及網(wǎng)絡(luò)數(shù)據(jù)處理領(lǐng)域的一個(gè)重要課題。
　　 本文首先對(duì)數(shù)據(jù)清洗知識(shí)進(jìn)行全而和詳細(xì)的描述，介紹了數(shù)據(jù)清洗的概念、意義和國(guó)內(nèi)外研究與應(yīng)用現(xiàn)狀。對(duì)數(shù)據(jù)清洗技術(shù)的原理、方法、評(píng)價(jià)標(biāo)準(zhǔn)以及基本流程進(jìn)行了分析和總結(jié)。本文對(duì)屬性清洗及重復(fù)記錄清洗所用到的技術(shù)和各種算法進(jìn)行了分析和總結(jié)。本文還介紹了領(lǐng)域本體以及本體表示語(yǔ)言——OWL等相關(guān)知識(shí)，并重點(diǎn)研究如何結(jié)合領(lǐng)域本體知識(shí)來(lái)進(jìn)行數(shù)據(jù)清洗。
　　 針對(duì)傳統(tǒng)知識(shí)庫(kù)表示的局限性，本文通過(guò)分解和