mba論文面向互聯(lián)網(wǎng)的構(gòu)件獲取技術(shù)研究pdf

1、大連海事大學(xué)碩士學(xué)位論文面向互聯(lián)網(wǎng)的構(gòu)件獲取技術(shù)研究姓名：徐東坤申請(qǐng)學(xué)位級(jí)別：碩士專業(yè)：計(jì)算機(jī)科學(xué)與技術(shù)（計(jì)算機(jī)軟件與理論）指導(dǎo)教師：魯明羽20100601英文摘要A B S T R A C TW i t h t h er a p i d d e v e l o p m e n to f I m e m e t ，i n t e r n e th a s b e c o m ea p l a t f o r mf o rs h a r

2、i n gr e s o u r c e s ．M o s t o ft h e r e s o u r c e so nt h e n e t w o r kd i s p l a y a s W e bf o r m ．S o d o t h ec o m p o n e n tl i b r a r yr e s o u r c e s o nt h en e t w o r k ．T h er e s e a r c hp u

3、r p o s eo f t h i s p a p e ri s t of i n d c o m p o n e n t r e s o u r c e s f r o m n e t w o r k ，a n a l y z e w e b p a g e s w h i c hm a y c o n t a i nc o m p o n e n t r e s o u r c e s ，a n de x t r a c tc o

4、 m p o n e n t i n f o r m a t i o n t ol o c a ld i s k ．T o a c h i e v e t h e s eo b j e c t i v e s ，t h e p a p e rp r o c e s s e s w e b d a t a a sf o l l o w s ：F i r s t ，t h ep a p e r d e s c r i b e sc o m

5、p o n e n t w i t hB N F w h i c h n e e d s c r a w l i n go nt h eW e b ．B a s e do nt h ed e s c r i p t i o nc o m p o n e n ts t o r a g em o d e la n db a s e l i n ed o c u m e n tg e n e r a t e ．A n d t h e yp r

6、 e p a r e f o rt h es u b s e q u e n t c h a p t e r s ；S e c o n d l y ，t h i s p a p e ri d e n t i f i e sc o m p o n e n tt o p i co ft h ew e bp a g e sf r o m i n t e m e tw i t h B a y e s i a nT F —I D F a l g

7、o r i t h m i nf o u ra s p e c t si n c l u d i n g w e b p a g ec o n t e n t ，v i r t u a l t e x t ，t i t l et e x t a n dk e y w o r d st e x ta n dm a k e s as t o r a g eo f t h e p a g e sr e l e v a n tt o c o m

8、 p o n e n ts u b j e c t ；T h i r d l y ，w i t hc o m b i n i n g c r a w l i n gs t r a t e g yo f p a g er a n ka n ds h a r ks e a r c ht h i sp a g es o r t st h eU R L s t o b et r e a t e d ．W i t ht h ec o m p r

9、e h e n s i v e s t r a t e g yc r a w l e r c a n c r a w lh i g hp r i o r i t yU R L f i r s ta n d a v o i d t h e t h e m e o f m i g r a t i o n i nc r a w l i n gp r o c e s s ；F o u r t h ，b a s e d o n r e l e v

10、 a n c e a n d t h e v i s u a l c h a r a c t e r i s t i c s o f t h e p a g e b l o c ka l g o r i t h mt h i s p a g ea n a l y z e sw e b p a g ew i t hc o m p o n e n ti n f o r m a t i o na n di d e n t i f i e s

11、t h et o p i c b l o c k sf r o m t h ew e b p a g e ；F i f t h ，t h i s p a p e rc r e a t e s f o u r m a t r i x e s f r o m t h e a d j a c e n t c o n s t r a i n t ，f e a t u r ec o n s t r a i n t s ．1 0 c a t i o

12、 n c o n s t r a i n t s a n dr e l e v a n c eb e t w e e ne n t i t i e s ，a n d t h e nc l u s t e r st h ee n t i t i e sw i t h t h ei m p r o v e dt r a n s i t i v ec l o s u r em e t h o d ．A t t h ee n do f t h

13、e c h a p t e rb a s e d o nt h eb a s e l i n ed o c u m e n ta n d t h es t o r a g em o d e l t h i sp a p e rm a t c h e s t h e c l u s t e r e de n t i t i e st oa t t r i b u t e s o ft h ec o m p o n e n ts t o r

14、 a g em o d e la n dg e n e r a t e sX M L d o c u m e n t t o s t o r e t h ee x t r a c t e dc o m p o n e n t i n f o r m a t i o n ；T h i sp a p e r i m p l e m e n t st h et e c h n o l o g ye x p l o r a t i o no f