數(shù)據(jù)質(zhì)量評(píng)估與提升方法及應(yīng)用研究.pdf

1、在數(shù)據(jù)的產(chǎn)生、存儲(chǔ)、傳輸?shù)倪^程中，難免會(huì)出現(xiàn)錯(cuò)誤數(shù)據(jù)、缺失數(shù)據(jù)等問題，數(shù)據(jù)的存在是因?yàn)樗膬r(jià)值，有些數(shù)據(jù)用作證據(jù)，有些數(shù)據(jù)用來做分析和預(yù)測(cè)；不管數(shù)據(jù)的作用是什么，如果數(shù)據(jù)出現(xiàn)錯(cuò)誤、缺失以及其他問題，都會(huì)降低數(shù)據(jù)存在的價(jià)值，有時(shí)甚至帶來深重的災(zāi)難。因此，確保數(shù)據(jù)的高質(zhì)量，是有效利用數(shù)據(jù)的基礎(chǔ)。近年來，數(shù)據(jù)呈現(xiàn)爆炸式增長(zhǎng)，人們對(duì)大數(shù)據(jù)的熱情與日俱增，很多人努力尋找更好的數(shù)據(jù)分析方法，很少人注重?cái)?shù)據(jù)質(zhì)量問題，對(duì)數(shù)據(jù)質(zhì)量進(jìn)行研究的文章比較少。本

2、文通過對(duì)數(shù)據(jù)質(zhì)量管理研究的文獻(xiàn)進(jìn)行梳理，總結(jié)在這方面的研究成果，重點(diǎn)討論了數(shù)據(jù)質(zhì)量評(píng)估和數(shù)據(jù)質(zhì)量提升方法，將聚類和分類方法引入到數(shù)據(jù)質(zhì)量評(píng)估過程中，列舉并比較了幾種常見的聚類和分類方法，探索了這兩種方法在數(shù)據(jù)質(zhì)量評(píng)估的可行性，將測(cè)量工具分析方法Gage R&R以及方差分析法用于可行性分析，最后簡(jiǎn)單介紹了針對(duì)不同的數(shù)據(jù)質(zhì)量問題應(yīng)該采用的提升方法。以消費(fèi)者投訴數(shù)據(jù)為實(shí)例研究對(duì)象，選擇K-means聚類對(duì)數(shù)據(jù)進(jìn)行質(zhì)量評(píng)估，聚類數(shù)對(duì)應(yīng)于待檢驗(yàn)的