kad絡文件名分類研究 - 頁面沒有找到

1、Kad網(wǎng)絡節(jié)點資源探測分析?劉祥濤12，龔才春3，劉悅1，白碩11（中國科學院計算技術研究所北京100190）2（中國科學院研究生院北京100190）3（北京市計算中心北京100005）摘要Kad網(wǎng)絡中存在數(shù)以億計的共享資源，而其中有相當一部分可被評定為敏感資源。首先用我們的Kad網(wǎng)絡采集器：Rainbow對節(jié)點擁有的文件資源進行探測；然后對節(jié)點資源和敏感資源進行相關統(tǒng)計分析。我們發(fā)現(xiàn)：1)文件流行度和文件所對應的文件名數(shù)量都近似符合Z

2、ipf分布；2)利用同一個“文件內容哈希”(即filecontenthash)的多個文件名的共現(xiàn)詞可以更準確地進行敏感判別；3)敏感資源占隨機樣本的6.34%，且敏感資源中74.8%為video文件。關鍵詞關鍵詞對等網(wǎng)絡；Kad網(wǎng)絡；探測分析；敏感資源PeerResourceMeasurementAnalysisinKadwkLiuXiangTao12GongCaiChun3LiuYue1BaiShuo11(InstituteofCom

3、putingTechnologyChineseAcademyofSciencesBeijing100190)2(GraduateUniversityChineseAcademyofSciencesBeijing100190)3(BeijingComputingCenterBeijing100005)AbstractInKadwktherearehundredsofmillionsofsharedresourcesamongwhichac

4、onsiderablepartcanberatedassensitiveresources.FirstlythefileresourcesofpeersaremeasuredusingourKadwkcrawler:Rainbowthenthoseresourcessensitiveresourcesarestatisticallyanalyzed.Wefindthat:1)boththepopularityoffilesthenumb

5、eroffilenamescrespondingtoafileapproximatelyfitZipfdistribution2)thesensitivityoffilescanbejudgedmeaccuratelyusingcooccurrencewdsinmultiplefilenamescrespondingtothesamefilecontenthash3)sensitiveresourcesonlyoccupy6.34%of

6、romsample74.8%ofsensitiveresourcesarevideofiles.KeywdsPeertopeerwkKadwkmeasurementanalysissensitiveresource1引言引言eMule網(wǎng)絡[1]是一種混合類型的文件共享對等網(wǎng)絡，它由兩部分：集中式網(wǎng)絡和純分布式網(wǎng)絡組成。其中純分布式網(wǎng)絡采用了Kademlia協(xié)議[2]，是eMule網(wǎng)絡的主要組成部分。一般來說，采用Kademlia協(xié)議的e

7、Mule網(wǎng)絡稱為Kad網(wǎng)絡。Ipoque2008~2009年度的因特網(wǎng)流量報告表明：依地理位置的不同，eMule占P2P流量的2%~47%，占因特網(wǎng)流量?基金項目：基金項目：本課題得到國家自然科學基金（No.60803085No.60873245）；國家高技術研究發(fā)展計劃(863計劃)（2006AA01Z452）的資助。作者簡介：作者簡介：劉祥濤，男，1977年生，博士研究生，研究方向：P2P網(wǎng)絡安全，數(shù)據(jù)挖掘等，Email：..龔才春

8、，男，1978年生，博士，研究方向：信息檢索，數(shù)據(jù)挖掘等.劉悅，女，1971年生，副研究員，研究方向：信息檢索，社區(qū)挖掘與分析，分布式計算等.白碩，男，1956年生，博士，研究員，博士生導師，研究方向：自然語言處理，網(wǎng)絡安全等.文件分為3個類別：敏感文件、正常文件、忽略文件，分別簡稱C1、C2和C3類文件。定義定義1.1.敏感文件(C1類文件)：其內容不合適讓特定人群瀏覽的文件。比如：文件名為“風騷的女子_俄羅斯.rar”的文件是敏感文

9、件。又比如：“WaterMelonscd1.www.EMuleX.es.avi”單從文件名看不出是否敏感，但通過搜索引擎查找相關信息可以獲知是一個色情敏感電影。定義2.2.正常文件(C2類文件)：其內容合適讓特定人群瀏覽的文件。比如：“漢初軍事史研究.pdf”是一個正常的電子書文件；“ThePointerSistersAutomatic.mp3”是一個正常的音樂文件。定義定義3.3.忽略文件(C3類文件)：因為文件名及其相關信息不足或因

10、為語言差異以至不能正確區(qū)分某文件是否敏感或正常的文件。比如：“.bmp”、“0094.gif”和“(Reggaeton)TitoYHectGataSalvaje.mp3”都是忽略文件。3相關工作相關工作對等網(wǎng)絡爬蟲探測工作開展較早，2002年，Saroiu等人率先使用主動測量方法對當時最為流行的Gnutella和Napster進行了拓撲測量[6]。2005年，Stutzbach等人在前人的工作基礎上改進了主動測量方法并開發(fā)出了快速分布式

11、Gnutella拓撲采集器：Cruiser，證明了因為節(jié)點震蕩(churn)和采集器采集速度太慢可能導致錯誤的實驗結論[7]。因此，使得提高Crawler的采集速度成為提高拓撲測量準確性的關鍵問題。2008年，王勇等人針對Gnutella網(wǎng)絡設計了基于正反饋的分布式Gnutella拓撲采集器：DCrawler，提出了度量采集器準確性、完整性的衡量指標，分析了Gnutella網(wǎng)絡拓撲圖的度等級分布特征、度頻率分布特征以及小世界特性[10]

12、。Kademlia協(xié)議的實現(xiàn)有Kad網(wǎng)絡和Bittrent的DHT網(wǎng)絡等。2006年Stutzbach等人針對Kad網(wǎng)絡提出了計算查詢性能的分析框架，并開發(fā)出了兩個軟件：kFetch和kLookup用于采集和計算Kad網(wǎng)絡的查詢性能[8]。2006年Stutzbach等人對三個P2P網(wǎng)絡：Gnutella、Kad網(wǎng)絡和Bittrent進行了測量分析，針對Kad網(wǎng)絡，他們用Cruiser采集了兩天的拓撲數(shù)據(jù)，然后對節(jié)點可用性進行了分析[9

13、]。2007年Steiner等人設計了Kad網(wǎng)絡采集器：Blizzard并進行了為期179天的Kad網(wǎng)絡采集，獲得了節(jié)點的地理分布、會話時間、節(jié)點可用性和生命周期等測度的測量結果[11][12][13]。2007年Falkner等人在PlaLab實驗條件下，對Bittrent的一個客戶端Azureus的DHT網(wǎng)絡進行了測量[14]。與節(jié)點資源分析相關的工作有對等網(wǎng)絡垃圾過濾(P2PSpamFiltering)等，2005年，J.Lian