基于特征內(nèi)容的短信消息過濾系統(tǒng)設計【文獻綜述】

1、<p><b>　　畢業(yè)設計文獻綜述</b></p><p><b>　　計算機科學與技術</b></p><p>　　基于特征內(nèi)容的短信消息過濾系統(tǒng)設計</p><p><b>　　一、前言部分</b></p><p>　　垃圾短信問題日益嚴重，受到了社會各界的關注

2、，尤其是迷信、反動內(nèi)容、情色內(nèi)容等垃圾短信．現(xiàn)有的針對短信過來的工作使用規(guī)則方式有黑白名單設置、模式匹配以及常見的分類算法，例如BP神經(jīng)網(wǎng)絡等．基于規(guī)則的方法在一定程度上阻攔了一些垃圾短信的來源，但是對于大量的垃圾短信來說，規(guī)則方法就需要更多的用戶來自定義設置，也更容易被反過濾．基于內(nèi)容的過濾是當前研究的主要技術之一．</p><p>　　短信的發(fā)送與接收是由移動網(wǎng)絡中的短消息服務中心(SMSC，short me

3、ssage service center)來進行完成的，依靠的是SMSC的存儲機制和轉(zhuǎn)發(fā)機制．一般有以下兩種發(fā)送短信的方式:1)SP——手機;2)手機——手機[1]．</p><p>　　針對短信息的傳輸過程和發(fā)送方式，短信過濾技術主要可以分為以下兩種方式：</p><p>　　l)短消息服務中心的過濾方式[1]．基于短信服務中心的過濾方式可以對短信中存在的敏感詞匯進行有效地更新，在對接收

4、到的短信進行存儲轉(zhuǎn)發(fā)的同時，對有害的短信息實施實時監(jiān)控．這種監(jiān)控大多根據(jù)的是短信狀態(tài)監(jiān)測和短信內(nèi)容識別相結(jié)合的監(jiān)管模式，因而是目前的主流技術之一．</p><p>　　2)手機終端的過濾方式[1]．這種方式通常是在手機中預先設定包含手機和短信服務商號碼的黑名單，并且在接收信息時根據(jù)黑名單來判別是否對短信進行攔截和過濾．這種方法也同樣存在明顯的局限性，由于是采用預先設定的黑名單，在對有害信息進行攔截時存在不足，比如

5、說有害信息發(fā)送者經(jīng)常變換手機號碼，往往都是以新號碼發(fā)送垃圾短信，這將使得原有黑名單失效．</p><p>　　因此，本設計將以軟件的形式來完成，根據(jù)文獻[2]中所講述的步驟來設計完成這個系統(tǒng)．該系統(tǒng)能夠正確的收發(fā)無特征內(nèi)容的正常短信，而用***代替特征內(nèi)容．而系統(tǒng)設計所用的則是大家比較熟悉的java 語言及其開發(fā)工具eclipse，因為java是面向?qū)ο蟮摹⒎植际降暮投嗑€程的[3-4]．本軟件的設計涉及到java

6、中數(shù)據(jù)結(jié)構(gòu)、集合架構(gòu)以及多線程和網(wǎng)絡編程等內(nèi)容．而Eclipse是一個開放源代碼的、基于 Java 的可擴展開發(fā)平臺[5-6]． </p><p><b>　　二、主題部分</b></p><p>　　21世紀是信息時代，也是網(wǎng)絡時代，隨著移動通信技術的飛速發(fā)展，手機已經(jīng)成為了人們?nèi)粘Ｉ罟ぷ髦斜夭豢缮俚耐ㄓ嵐ぞ?，并且短消息的應用也愈來愈廣泛．短信消息雖然是一種個人保

7、密性較好的信息傳播方式，不過同時也很容易帶來大量不良信息．隨著手機的普及，許多內(nèi)容低俗甚至有害的短消息急劇增加，給我們的信息安全帶來了嚴重的問題，影響了人們的正常生活．這種短消息蔓延所帶來的危害，應當引起我們的警惕．因而垃圾短信過濾是目前人們比較關注的一類問題，可以看成是文本分類技術的一種應用．本文就將對此問題做出一定的研究，考慮到目前國內(nèi)的短信絕大多數(shù)是中文短信，所以只要對中文垃圾短信進行過濾，就可以解決絕大部分的短信安全問題，因此我

8、們的處理對象是中文短信．</p><p>　　文獻[7]詳細介紹了中文分詞技術，它是最重要的中文文本預處理技術．自動分詞就是從信息處理需求出發(fā)，按照特定的規(guī)范，對漢語按分詞單位進行劃分的過程．基于字符串匹配的、基于理解和基于統(tǒng)計的分詞方法是現(xiàn)在主要的三大算法．</p><p>　　1982年，Denning提出信息過濾(Information Filtering)這一概念．他描述了一個信

9、息過濾的實例，即在電子郵件系統(tǒng)中，利用過濾機制區(qū)分為緊急的郵件和一般的例行郵件，同時還根據(jù)用戶需要來限制例行信息的顯示方式．為了很好地解決這個問題，Denning構(gòu)造了一種“內(nèi)容過濾器”，其中采用的主要技術有層次組織的郵箱、獨立的私人郵箱、特殊的傳輸機制等[2] [3]．</p><p>　　信息過濾[8-9]的定義是指計算機根據(jù)用戶提供的一個過濾需求(user Profile)，從動態(tài)變化的信息流(比如Web)

10、中自動檢索出滿足用戶需求的信息．其應用系統(tǒng)就是可以引用信息過濾技術從而處理相關信息，特點主要表現(xiàn)為以下幾點：</p><p>　　第一：信息過濾系統(tǒng)的數(shù)據(jù)設計主要可以分為無結(jié)構(gòu)化設計和半結(jié)構(gòu)化設計兩種．比如電子郵件，就是一類典型的半結(jié)構(gòu)化數(shù)據(jù)，它具有結(jié)構(gòu)化的郵件頭和無結(jié)構(gòu)的郵件正文．</p><p>　　第二：信息過濾系統(tǒng)主要是用來處理文本信息的．由于信息過濾系統(tǒng)處理的數(shù)據(jù)一般為輸入信息流

11、，其中包括遠程數(shù)據(jù)源以廣播的形式發(fā)送消息或者直接發(fā)送信息．</p><p>　　第三：信息過濾系統(tǒng)還需要包含一組對用戶過濾需求的描述．這種描述既可以用來屏蔽不良的信息，又可以用來收集有益的信息．</p><p>　　信息過濾系統(tǒng)的分類[9]可以從四個不同的方面劃分，根據(jù)過濾操作的主動性與被動性、運行過濾系統(tǒng)的位置、過濾策略和用戶信息獲取方法的不同機型不同的體系分類．</p>

12、<p>　　信息過濾系統(tǒng)[10-11]可以主要的劃分為四個重要組成部分，分別是信息提供模塊、用戶需求描述模塊、過濾模塊和學習模塊．其中，信息提供模塊的主要任務是對輸入系統(tǒng)的信息建立統(tǒng)一的描述方式；用戶需求描述模塊則依賴這一描述方式，建立起突顯用戶需求趨向的概率模型；過濾模塊的主要任務就是計算并判斷信息與用戶需求的相關性；學習模塊則通過自學習的方式逐步改進用戶需求模型，增強過濾系統(tǒng)的準確性．</p><p&g

13、t;　　通常而言，垃圾短信具有如下兩種發(fā)送方式:</p><p>　　(l)手機模塊發(fā)送垃圾短信．這種短信在接收到短信的用戶看到的是普通手機號碼發(fā)送的，但是其實質(zhì)上此類短信是利用電腦連接手機或手機模塊(也稱短信貓)進行發(fā)送的．電腦軟件具有很強的短信發(fā)送管理功能，包括號碼資源管理，短信成功與否的狀態(tài)報告，用戶的回復信息等等．通常每個手機模塊每分鐘能發(fā)6條以上的短信，總速度取決于手機模塊的數(shù)量，發(fā)送的時候要占用運營商

14、的大量的無線資源，用戶收到垃圾短信時顯示的發(fā)送號碼為一普通的手機號碼，但是無法打通這個手機號碼． </p><p>　　(2)網(wǎng)絡端口/平臺發(fā)送垃圾短信．這種發(fā)送垃圾短信的方法是利用了運營商的端口或企信通平臺．這種方式是利用了電腦和互聯(lián)網(wǎng)(或從運營商處拉的專線網(wǎng)絡)，通過運營商的短信網(wǎng)關進行發(fā)送．此種方法具有了發(fā)送速度快，發(fā)送量大等特點．用戶收到短信時看到的短信發(fā)送號碼是一個短信接入號，如果是SP的誘騙短信，則直

15、接回復時很容易被訂購上某一項SP業(yè)務[9]．</p><p>　　短信服務中心(SMSC)解決方案，它是基于一個智能網(wǎng)絡的方法，提供了一個機制，用于將短信傳送到無線設備，及從無線設備發(fā)送短信，其實現(xiàn)的關鍵部分為SMSC．SMSC作為短信的保存、轉(zhuǎn)發(fā)系統(tǒng)，其底層無線網(wǎng)絡為它提供了通信基礎設施，然后通過信令進行尋址并且在短信服務中心(SMSC)及無線網(wǎng)站之間進行短信傳輸．這個服務增加了對文本信息到目的地傳輸?shù)谋ＷC．而

16、且，無線短信服務器(SMS)支持多輸入機制，它允許與不同的信息源及目的地進行相互聯(lián)絡．</p><p>　　因為考慮到了Struts2中大量使用攔截器來處理用戶的請求，以及通用的mvc模式等因素，決定利用Structs2 web2.0來設計本軟件[4] [12]．</p><p>　　Struts2框架的大概處理流程如下： </p><p>　　1、瀏覽器發(fā)送一個請

17、求． </p><p>　　2、核心控制器Filter　Dispatcher根據(jù)請求決定調(diào)用合適Action． </p><p>　　3、Web　Work的攔截器鏈自動對請求應用通用功能，如驗證等．</p><p>　　4、回調(diào)Action的execute方法，該execute方法根據(jù)請求的參數(shù)來執(zhí)行一定的操作．</p><p>　　5、Ac

18、tion的execute方法處理結(jié)果信息將被輸出到瀏覽器中，支持多種形式的視圖．</p><p>　　Eclipse 是一個開放源代碼的、基于 Java 的可擴展開發(fā)平臺．就其本身而言，它只是一個框架和一組服務，用于通過插件組件構(gòu)建開發(fā)環(huán)境．幸運的是，Eclipse 附帶了一個標準的插件集，包括 Java 開發(fā)工具（Java Development Tools，JDT）[13]．Eclipse是一個開放源代碼的軟

19、件開發(fā)項目，專注于為高度集成的工具開發(fā)提供一個全功能的、具有商業(yè)品質(zhì)的工業(yè)平臺．它主要是由Eclipse項目、Eclipse工具項目和Eclipse技術項目三個項目組成，具體包括四個部分組成——Eclipse Platform、JDT、CDT和PDE．JDT支持Java開發(fā)、CDT支持C開發(fā)、PDE用來支持插件開發(fā)，Eclipse Platform則是一個開放的可擴展IDE，提供了一個通用的開發(fā)平臺．它提供建造塊和構(gòu)造并運行集成軟件開發(fā)

20、工具的基礎．</p><p>　　Java ME 為在移動設備上和嵌入式設備（比如手機、PDA和打印機）上運行的應用程序提供了一個健壯并且靈活的環(huán)境。Java ME 包括了靈活的用戶界面、健壯的安全模型、許多內(nèi)置的網(wǎng)絡協(xié)議以及對可以動動態(tài)下載的連網(wǎng)和離線應用程序的十分豐富的支持?；?Java ME 規(guī)范的應用程序只需編寫一次，就可以用于許多設備，而且可以利用每個設備的本機功能[14] [15]。</p&g

21、t;<p>　　基于以上特點，再加上平時比較常用eclipse來進行一些java編程，因此便采用eclipse平臺來進行軟件的開發(fā)．</p><p>　　綜上所述，本系統(tǒng)的工作過程為：</p><p>　?、盼谋径滔l(fā)送功能</p><p>　　當運行TalkServer.jar時，界面會顯示“服務器已啟動，等待連接...”字樣；當運行TalkCli

22、ent.jar后，界面會顯示“正在嘗試連接…”“連接成功”等字樣，說明此時軟件已經(jīng)正常運行，可以發(fā)送文本短消息．在服務器端窗口輸入任意文字，并按下界面上的確認按鈕，短消息即會發(fā)送，發(fā)送的短消息將顯示在客戶端窗口中．</p><p>　?、莆谋径滔⑦^濾功能</p><p>　　在“C:\”目錄下新建一個TXT文本文件，并重命名為Filter.txt，打開文件，輸入希望過濾的敏感詞匯，例如“

23、法輪功”、“邪教”、“明慧網(wǎng)”等．重新啟動客戶端和服務器端．在服務器端輸入包含敏感詞的短信內(nèi)容，并按下確認按鈕，短信將發(fā)送．本軟件同時考慮到網(wǎng)上現(xiàn)在較為流行的一種規(guī)避過濾的方式，例如將“法輪功”寫成“法@輪#功”．面對這種情況，我們采取了相應的技術，同樣可以過濾成功．</p><p><b>　　三、總結(jié)部分</b></p><p>　　本文只是對垃圾短信過濾提供一種

24、實現(xiàn)，具有一定的嘗試性和創(chuàng)新性．但由于時間緊迫及實驗條件所限，其工作還需進一步完善．進一步的工作將主要圍繞以下幾個方面展開:第一:由于整個過濾系統(tǒng)應用于手機終端，程序是通過手機信號來觸發(fā)的，所以需要結(jié)合手機信號的知識作進一步的完善, 盡管目標能實現(xiàn)，但肯定還存在著一些不盡如人意的地方．比如短信識別判決的過程相對較慢，智能化程度不高等問題．另外，一些垃圾短信也進行反過濾處理，例如，一些中獎短信有意將“法輪功”寫為“法××

25、;輪%……￥#功”等等，這樣會使分詞和判決開發(fā)的難度大很多．盡管這與所選用的平臺有很大關系，但是整個程序無疑還是可以優(yōu)化的，這需要對Java語言有更透徹的了解． </p><p><b>　　四、參考文獻</b></p><p>　　[1]胡建國. 基于文本信息過濾技術的短信防火墻系統(tǒng)設計與實現(xiàn)[D]. 西南交通大學, 2008,5.</p><p

26、>　　[2]許家珆, 曾翎, 彭德中. 軟件工程――理論與實踐[M]. 北京:高等教育出版社, 2004,7.</p><p>　　[3]孫更新, 賓晟, 孫海倫. Java ME手機應用開發(fā)大全[M]. 北京:科學出版社, 2008.</p><p>　　[4](澳)Ian Roughley. 精通Struts 2:Web 2.0開發(fā)實戰(zhàn)＝Practical apache stru

27、ts 2:Web2.0projects[M]. 北京:人民郵電出版社, 2009.</p><p>　　[5]崔群法, 王詠梅, 李有軍. Eclipse 3.0從入門到精通[M]. 北京:電子工業(yè)出版社, 2008.</p><p>　　[6]陳剛. Eclipse從入門到精通[M]. 北京:清華大學出版社,2007.</p><p>　　[7]祁文青. 一種改進

28、的中文分詞算法[J]. 湖北:黃石理工學院學報, 2007,(04)</p><p>　　[8]李輝. 基于內(nèi)容的垃圾短信過濾[J]. 大連理工大學管理學院, 2008,6,34(12):154-156.</p><p>　　[9]胡日勒. 短信過濾系統(tǒng)設計分析[J]. 北京郵電大學信息工程學院, 2008,8,25(08):2557-</p><p><b&

29、gt;　　2560.</b></p><p>　　[10]劉挺, 秦兵, 張宇等. 信息檢索系統(tǒng)導論[M]. 北京:機械工業(yè)出版社, 2008.08.</p><p>　　[11]黃文良. 基于客戶端的手機短信過濾系統(tǒng)的設計與實現(xiàn)[D]. 浙江大學, 2008.9.</p><p>　　[12](美)Liang.Y.D.Java語言程序設計[M]. 北京

30、:機械工業(yè)出版社, 2008,2.</p><p>　　[13]萬輝, 王軍. 基于Eclipse環(huán)境的J2ME應用程序開發(fā)[M]. 北京:清華大學出版社, 2009.</p><p>　　[14]汪曉平. 精通Java網(wǎng)絡編程[M]. 北京:清華大學出版社, 2005.</p><p>　　[15]杜佳榮, 馬進紅, 滕振宇. Java網(wǎng)絡編程技術與實踐[M].