ScopeMiner：一個支持決策分析的綜合數(shù)據(jù)挖掘系統(tǒng)—ETL技術(shù)研究與實現(xiàn).pdf

1、東北大學(xué)碩士學(xué)位論文ScopeMiner：一個支持決策分析的綜合數(shù)據(jù)挖掘系統(tǒng)—ETL技術(shù)研究與實現(xiàn)姓名：高淑娟申請學(xué)位級別：碩士專業(yè)：計算機應(yīng)用技術(shù)指導(dǎo)教師：王麗娜2003.1.1東北人學(xué)碩士學(xué)位論文 A b s t r a c tS c o p e M i n e r ：A n I n t e g r a t e dD a t a M i n i n g S y s t e m S u p p o r t i n gD e c i s

2、 i o n A n a l y s i s- - - ··- D e s i g na n d I m p l e m e n t a t i o n o f E T L T e c h n i q u e sA b s t r a c tW i t h t h ea d v e n t o f i n f o r m a t i o na g e ，m o r ea n d m o r e d a t a ，u

3、s e f u lV S ．u s e l e s s ，n o r m a lV S ．a(chǎn) b n o r m a l ，m a k e U S a ts e a ．I nt h e p r o c e s s o f e n t e r p r i s e sd e v e l o p m e n t ，a l o to f d a t a a r ep i l e du p ．H o w t ou s et h e s ed a

4、t aa n d t h e n t od i r e c tt h ed e c i s i o n - m a k i n g o f e n t e r p r i s e si st h e k e yt h a t t h e yw i na n dm a k em a x i m a lb e n e f i t ．B e c a u s e o ft h e s er e a s o n s ，d a t aw a r e

5、 h o u s e t e c h n o l o g yg r o w s s t e pb y s t e p ．I tn e e d s t ol o a da n d r e f r e s ha l lk i n d so f d a t af r o m v a r i o u ss o u r c ed a t a b a s e s ．I n e v i t a b l y , t h e r ea r es o m

6、ee r r o r se x i s t i n gi nt h e s ed a t a ．S od a t aq u a l i t y i st h eb o t t l e n e c k t h a th i n d e r s t h ea p p l i c a t i o no f d a t aw a r e h o u s e ．I nf a c tw e c a n ’ta v o i d t h e s e d

7、 i r t yd a t a t h a ta r e a b o u t 5p e r c e n t o f a l l d a t a ．D a t aw a r e h o u s ei st h eb a s i so fd a t am i n i n ga n dd e c i s i o na n a l y s i s ，S Oc o r r e c tt h ee r r o r so f d i r t yd a

8、 t ap l a y sc e n t r a lm l e t or e d u c i n gt h er i s ko f w r o n g d e c i s i o n ．F r o m t h a tw e k n o w h i g h - q u a l i t y d a t ai st l l en e e do f d a t aw a r e h o u s e ．W h a t w i l lw e d o

9、 t od e a l 、】l r i t } li t ? I ti sE T L t h a t h e l p U S a c c o m p l i s h t h et a s k ．S t u d y o f t h i st h e s i si sf o c u s o n t h ea l g o r i t h m s o f d a t a e x t r a c t i n g ，d a t at r a n s

10、 f o r m a t i o na n d d a t ac l e a n i n g ，w h i c ha r e b a s e d o n m e t a d a t a , t h e n t oi m p r o v e q u a l i t yo f d a t a ．A tt h es a m e t i m e ，E T L m o d u l e a n d m e t a d a t a s t r u c

11、 t u r e o fw h o l e d a t a w a r e h o u s e a r ec o n s t r u c t e d ，a n d s t r e n g t h e ni n t e r a c t i v eo p e r a t i o no fc l e a n i n g ．A R e rt h e d a t ai n d a t as o u r c e sa r ec l e a n s

12、e da n df i l t e r e d ，t h e y a r el o a d e di n t od a t aw a r e h o u s er e l a t e dt ot h es p e c i f i cs u b j e c t ．T h a ti s ，E T Li st h ep r o c e s st ot r a n s f o r m ，c l e a n s ea n d i n t e g

13、r a t et h ed a t af r o m v a r i o u sd a t a b a s e s ，t h e n p u t t h e m i n t od a t a w a r e h o u s e ．A tp r e s e n tm o s to f t o o l so f E T L i sf o c u so n t h ec l e a n i n go f d a t at y p eo f S

14、 U l T l a m e ，a d d r e s s ，a n d i tn e e d s t h es u p p o r tb y k n o w l e d g e r e p o s i t o r y ．I nt h i st h e s i s ，w ed e s i g na n dc o m p l e t ea l lE T L s y s t e m ．O n t h eb a s i so f a n a

15、l y z i n gf r e q u e n t e r r o r sa n do t h e r st h a ta r ei m p o r t a n ti m p a c t o n d e c i s i o na n a l y s i s ，w ep r o c e s sd a t a e r r o rt y p e so f d u p l i c a t er e c o r d s ，d a t a o u

16、 t l i e r s ，d a t e a n dt i m e ，a d d r e s sa n dd a t a m i s s i n g ．T h i s c o u r s e i n c l u d e s w o r ds e g m e n t a t i o n ，K N Na l g o r i t h m a n d B a y e s i a n m e t h o d ．R e a l i z e d t