文本多特征表達(dá)研究及在網(wǎng)絡(luò)內(nèi)容安全中的應(yīng)用.pdf

1、作者所研究的信息過濾系統(tǒng)是專門針對(duì)色情、反動(dòng)等不良信息的過濾,是信息過濾的一種特殊應(yīng)用,是網(wǎng)絡(luò)內(nèi)容安全的研究課題之一.圍繞著網(wǎng)絡(luò)不良文本的信息過濾,作者在文本特征抽取以及文本多特征描述方面深入展開了自己的工作:第一、提出了"負(fù)過濾"的概念.所謂"負(fù)過濾",即被過濾出的、并非要提交給用戶的信息,這與"正過濾"(被過濾出的即要提交用戶的)恰好相對(duì).典型的"負(fù)過濾"應(yīng)用有:垃圾郵件過濾,色情信息過濾,聊天室過濾等.如果說正過濾系統(tǒng)目前的研究焦

2、點(diǎn)大都在于用戶興趣的表達(dá)和如何跟蹤用戶的興趣遷移,那么負(fù)過濾系統(tǒng)的研究則主要應(yīng)該集中在提高過濾精度和速度上.第二、作者在考察了現(xiàn)有漢語抽詞分詞算法后,針對(duì)基于實(shí)例的信息過濾系統(tǒng)設(shè)計(jì)了位置記憶跳躍匹配算法(PRJM),使用該算法在漢語文本中抽取重復(fù)字串,并從中生成過濾類別特征詞典.與同類算法相比,該算法在速度、性能上都有了很大的提高,能很好的滿足信息處理的實(shí)時(shí)性要求.第三、主題是文本內(nèi)容的體現(xiàn).目前的文本主題抽取算法大都存在著限定領(lǐng)域的問

3、題,無法適應(yīng)網(wǎng)絡(luò)多種多樣的文本處理需要.基于此,作者提出的基于同現(xiàn)頻率和文本上下文的主題抽取算法(SECC)是一種較好的適應(yīng)各類文本的主題抽取算法.在語料庫(kù)多種文體類型文本的主題抽取試驗(yàn)中,該算法得到了不錯(cuò)的抽取結(jié)果.第四、寫作時(shí)作者會(huì)針對(duì)不同的場(chǎng)合、不同交流功能、不同的讀者采用不同的文體.正確識(shí)別文章的文體能有助于更準(zhǔn)確的建立用戶檢索描述和文本描述,以便更好地滿足用戶的信息檢索需求.但文體類型種類相當(dāng)多,并且隨著時(shí)代的發(fā)展,文體類型也