Blog文本內(nèi)容敏感信息的自動提取技術(shù).pdf

1、近幾年來，信息技術(shù)和產(chǎn)業(yè)迅速發(fā)展，國際互聯(lián)網(wǎng)上各種新興應(yīng)用層出不窮。上世紀(jì)90年代，Blog在西方國家出現(xiàn)，到2001年，已經(jīng)成為了網(wǎng)絡(luò)主流；2002年，Blog被引入我國，5年內(nèi)，就吸引了近5000萬人，平均每4個網(wǎng)民中就有一個Blog作者。Blog已經(jīng)成為世界范圍內(nèi)的第4媒體。網(wǎng)絡(luò)信息犯罪是與網(wǎng)絡(luò)媒體的發(fā)展共生的，人們對于網(wǎng)絡(luò)與系統(tǒng)安全已做了大量研究，但對于網(wǎng)絡(luò)媒體信息內(nèi)容的安全問題，只在近年來才逐漸得以重視。在Blog這種巨大的開

2、放信息源上，一旦有敏感信息（包括反動、恐怖、色情等等）不受限制地流傳，將會對網(wǎng)絡(luò)用戶造成巨大影響，給社會造成巨大損失。為了保護(hù)用戶，維護(hù)穩(wěn)定，必須采取措施對敏感信息進(jìn)行監(jiān)控，同時也為運(yùn)行Web服務(wù)的各種組織，提供對此類信息的訪問加以監(jiān)控的技術(shù)和服務(wù)。為此，開發(fā)先進(jìn)的文本信息安全監(jiān)控技術(shù)是一項緊急而又重要的課題。 本文結(jié)合自然語言理解、中文信息處理等相關(guān)知識，結(jié)合本實(shí)驗室文本信息處理目前研究進(jìn)展，提出基于Blog日志屬性構(gòu)造決策樹

3、的算法，對文本中未知的敏感信息進(jìn)行自動提取。 本文首先介紹了Blog的發(fā)展概況，給出了Blog上敏感信息的幾個外延，闡述了提取敏感信息的重要意義。最后，簡要介紹了國內(nèi)外這方面工作的現(xiàn)狀。 其次，介紹了中文文本的預(yù)處理、表示技術(shù)以及分類技術(shù)。我們介紹了中文自動分詞，文本的向量化表示，特征提取，特征降維，權(quán)重計算等。并介紹了幾種經(jīng)典的文本分類方法。還對新詞發(fā)現(xiàn)作了介紹。 接著，介紹了網(wǎng)頁文本和有用屬性提取的方法。并對

4、使用漢字部件組合技術(shù)處理拆字現(xiàn)象作了詳細(xì)介紹。 隨后，針對現(xiàn)有過濾監(jiān)控技術(shù)的速度可能成為瓶頸這一問題，提出利用Blog日志屬性信息構(gòu)造決策樹，實(shí)現(xiàn)未知敏感文本的發(fā)現(xiàn)。介紹了決策樹的原理和構(gòu)造決策樹的算法ID3算法。我們提出了幾個ID3算法的改進(jìn)算法。 最后，提出了系統(tǒng)流程圖，對各個部分進(jìn)行了解釋。使用改進(jìn)算法與已有算法進(jìn)行了對比，效果良好。 文章最后對本文的研究課題進(jìn)行總結(jié)，提出當(dāng)前研究的可行性和今后一些需要改進(jìn)的