電信數據挖掘的數據質量評估技術研究.pdf

1、近年來，數據挖掘作為海量數據中知識提取的有效手段，已廣泛應用于電信領域，如話費欺詐分析、客戶細分、客戶流失預測、交叉銷售等。然而，現實中的電信數據往往質量較差，不能滿足數據挖掘的要求，導致數據挖掘在電信中應用的成功案例較少，數據質量低下已成為制約數據挖掘在電信行業(yè)應用的主要瓶頸之一，因此，在進行數據挖掘之前，有必要進行數據質量評估，以衡量挖掘的可行性，避免時間和精力的浪費。對于數據質量評估，雖然前人已有較多的研究成果，但大部分集中在框架

2、理論，較少涉及特定的行業(yè)背景和具體應用，而面向特定挖掘主題的數據質量評估，尚未有專門的文獻討論。本文針對電信數據挖掘的常用主題—欠費挖掘，在深入研究缺失和離群對數據挖掘影響的基礎上，對面向數據挖掘的數據質量評估技術展開研究，具體的研究工作如下：
　　 1．對于缺失評估，提出類分布CD((Class Distribution)的概念，以衡量各個輸入屬性和目標屬性之間的關聯度，基于此，提出類分布差異的屬性加權算法CAWA，算法能夠區(qū)

3、分不同輸入屬性對分類結果的重要性，并由此提出基于屬性加權的缺失評估算法AMEA，以實現數據的缺失評估。實驗結果表明，該評估算法能夠合理量化缺失對挖掘結果的影響。
　　 2．對于離群評估，針對電信數據的特點，尤其是欠費數據非平衡的特性，分析了非平衡數據中的離群點對分類結果的影響，并結合超圖離群檢測(HOT)算法，提出離群度OD(Outlier Degree)的概念，基于此，提出非平衡離群評估算法IOEA，以實現數據的離群評估。實驗