基于過(guò)濾技術(shù)的投訴信息智能分析與實(shí)現(xiàn).pdf

1、本文以建立在統(tǒng)計(jì)理論基礎(chǔ)上的Bayse分類算法在短信過(guò)濾中的應(yīng)用策略為依據(jù)，把投訴平臺(tái)中針對(duì)不良短信的投訴信息作為研究對(duì)象，對(duì)它們進(jìn)行智能化的分析與研究，用類別明確的投訴信息指導(dǎo)數(shù)據(jù)分析的進(jìn)行，從這些投訴信息中提取垃圾短信的特征，并用于類別未知的投訴信息的分析，最后將整體分析結(jié)果以表格形式，提交給相關(guān)處理部門(mén)作為處理依據(jù)，以解決人力對(duì)突發(fā)性的、大量的舉報(bào)信息的分析難度。
　　 現(xiàn)有短信過(guò)濾系統(tǒng)，實(shí)際是對(duì)以關(guān)鍵詞為依據(jù)的文本分類的

2、擴(kuò)展，因此，同樣存在文本分類中所具有的缺點(diǎn)：使用內(nèi)容固定的詞典提取關(guān)鍵詞，不能適應(yīng)詞的靈活變化；逐條取樣分析生成分類器，當(dāng)測(cè)試數(shù)據(jù)與樣本存在差異時(shí)，分類器的準(zhǔn)確性得不到保證；在整體角度上保證系統(tǒng)的可靠性，沒(méi)有考慮到關(guān)鍵詞提取過(guò)程中的風(fēng)險(xiǎn)，因此，從系統(tǒng)的靈活性、通用性和精度三方面對(duì)現(xiàn)有過(guò)濾策略進(jìn)行完善，提出了可行有效的解決方法，主要研究?jī)?nèi)容如下：
　　 (1)系統(tǒng)的靈活性：①基本關(guān)鍵詞的提?。簩⒒镜淖铋L(zhǎng)匹配分詞技術(shù)與字符串的模糊

3、匹配相結(jié)合，僅當(dāng)基本匹配和模糊匹配同時(shí)失敗時(shí)，才尋找次長(zhǎng)詞。②提取特征詞：將現(xiàn)有短信過(guò)濾中的降維思想與文本分類中的類內(nèi)集中度、類間分散度和類內(nèi)平均度及加權(quán)求和思想相結(jié)合，以此提高詞對(duì)分類貢獻(xiàn)所具有的準(zhǔn)確性和分類規(guī)則的全面性。
　　 (2)分類器的通用性：應(yīng)用概率論中的隨機(jī)抽樣理論采集樣本集，避免分類器過(guò)分?jǐn)M合樣本數(shù)據(jù)，使其具有通用性。
　　 (3)分類器的準(zhǔn)確性：將兩類分類問(wèn)題中使用的最小風(fēng)險(xiǎn)思想進(jìn)行如下擴(kuò)展，以使系統(tǒng)所