基于內(nèi)容的網(wǎng)絡(luò)不良文本信息過(guò)濾若干關(guān)鍵技術(shù)研究.pdf

1、圍繞著網(wǎng)絡(luò)不良文本的信息過(guò)濾,作者在以下幾個(gè)方面深入展開(kāi)了自己的工作:第一、網(wǎng)頁(yè)文本的文本表達(dá)雖然可以使用傳統(tǒng)(普通)文本的表達(dá)方法,但是它并不完全等同于傳統(tǒng)文本.對(duì)于處理網(wǎng)頁(yè)信息而言,如何得到網(wǎng)頁(yè)正文是預(yù)處理的第一步.論文針對(duì)這一目的,提出了對(duì)Web網(wǎng)頁(yè)文本去噪得到正文處理的相應(yīng)算法.第二、文本特征有很多,例如文件的名稱(chēng)、大小、日期、類(lèi)型、主題、類(lèi)別、詞等.這些特征或者由信息的生成者提供,或者可以從文本內(nèi)容中自動(dòng)抽取.研究抽取算法和開(kāi)

2、發(fā)抽取程序的研究者和開(kāi)發(fā)者很多,所開(kāi)發(fā)系統(tǒng)的輸出都有著各式各樣的規(guī)定.這給使用這些特征抽取程序進(jìn)行后續(xù)信息處理的系統(tǒng)開(kāi)發(fā)帶來(lái)了很多麻煩.針對(duì)這個(gè)問(wèn)題,論文提出了一個(gè)層次清晰、易于擴(kuò)展的XML統(tǒng)一文本自動(dòng)處理描述接口(UTRAP)規(guī)范.應(yīng)用它,系統(tǒng)能使用統(tǒng)一的規(guī)范對(duì)文本的特征進(jìn)行描述,對(duì)各種各樣的特征進(jìn)行統(tǒng)一的處理.該規(guī)范不僅僅是信息處理系統(tǒng)中的一個(gè)統(tǒng)一接口,還可以在開(kāi)放式的文本處理大平臺(tái)中有所作為.第三、已有的匹配算法在處理中文字符時(shí)性

3、能欠佳,并存在不能良好的同時(shí)處理中英文信息、不能對(duì)中文字符進(jìn)行有效的排序等等缺點(diǎn).論文提出了一種面向中文的匹配算法——CDSA算法,并通過(guò)實(shí)驗(yàn)驗(yàn)證了該算法在克服已有算法不足的同時(shí),并不影響算法的效率和空間復(fù)雜度.第四,應(yīng)用我們提出的"基于字同現(xiàn)頻率的文本主題抽取算法",論文創(chuàng)新性地討論了基于主題(Topic)抽取的文本過(guò)濾.該算法根據(jù)關(guān)鍵詞在主題的分布情況、以及在非主題中的分布情況分別給予關(guān)鍵詞不同大小的權(quán)重,從而實(shí)現(xiàn)有針對(duì)性的過(guò)濾,尤

4、其在色情文本過(guò)濾應(yīng)用中,具有很高的精度.第五、基于特征字串匹配(關(guān)鍵詞匹配)的文本過(guò)濾技術(shù)是當(dāng)前基于內(nèi)容文本過(guò)濾的技術(shù)主流,它的優(yōu)點(diǎn)是突出的:簡(jiǎn)便、快速和較高的查全率;但它的缺點(diǎn)也是鮮明的:只能保證較低的準(zhǔn)確率.論文通過(guò)試驗(yàn),研究并指出了特征字串匹配過(guò)濾的優(yōu)缺點(diǎn)存在的本質(zhì)原因.第六、論文提出了一個(gè)基于內(nèi)容的安全過(guò)濾系統(tǒng)系統(tǒng)模型,并詳細(xì)討論了其中的基于臨近類(lèi)別分類(lèi)的過(guò)濾模型.針對(duì)色情樣本,使用KNN、Bayes等算法分別對(duì)基于臨近類(lèi)別分類(lèi)