面向搜索引擎的SPAM識(shí)別技術(shù)和對(duì)其準(zhǔn)確率提升的研究.pdf

1、互聯(lián)網(wǎng)自出現(xiàn)以來(lái)，經(jīng)過(guò)短短幾年已經(jīng)發(fā)展成為一個(gè)巨大的全球化信息空間，隨著各種互聯(lián)網(wǎng)信息檢索系統(tǒng)(搜索引擎)的誕生，針對(duì)搜索引擎的作弊(SPAM)也成為影響用戶獲得有效結(jié)果，困擾搜索引擎發(fā)展的重要問(wèn)題。本文論述了一套SPAM識(shí)別系統(tǒng)的設(shè)計(jì)到實(shí)現(xiàn)的過(guò)程。 文章簡(jiǎn)述了搜索引擎常用的算法，指出了其中可能被作弊者利用的地方，并列舉了一些常用的作弊方式，分析了這些方法制作的網(wǎng)頁(yè)會(huì)被檢索到的原因。對(duì)于這些問(wèn)題網(wǎng)站的處理目前都是加以人工參與，這

2、種方式準(zhǔn)確率高，但是成本也很高，不能推廣，無(wú)法批量處理。這在海量信息的今天已經(jīng)成為成為了瓶頸，這使得研發(fā)一套高效的自動(dòng)識(shí)別系統(tǒng)成為必然。 系統(tǒng)考慮了實(shí)用性、擴(kuò)展性、易用性等多方面因素，按三個(gè)層次進(jìn)行設(shè)計(jì)。 數(shù)據(jù)采集層根據(jù)巴萊多定律對(duì)日志中的數(shù)據(jù)進(jìn)行了優(yōu)化，保證在較少的設(shè)備資源投入下可以監(jiān)控較多流量的數(shù)據(jù)，在用戶體驗(yàn)和成本間得到一個(gè)較好的平衡。 分類預(yù)測(cè)層通過(guò)獲取頁(yè)面的各種特征信息對(duì)頁(yè)面進(jìn)行分類。這個(gè)過(guò)程是對(duì)支持向

3、量機(jī)模型的應(yīng)用。將有一定特征的數(shù)據(jù)進(jìn)行分析量化后轉(zhuǎn)化為訓(xùn)練數(shù)據(jù)，提供給訓(xùn)練模型程序，程序可以建立一個(gè)數(shù)學(xué)模型。使用訓(xùn)練好的模型就可以對(duì)未知的數(shù)據(jù)進(jìn)行預(yù)測(cè)，預(yù)測(cè)程序便會(huì)根據(jù)模型預(yù)測(cè)出待預(yù)測(cè)數(shù)據(jù)的分類。 數(shù)據(jù)過(guò)濾層是最后對(duì)系統(tǒng)校正的過(guò)程。一般分類結(jié)果得到的準(zhǔn)確率在85％左右，作為生產(chǎn)精度還有距離。因此必須要對(duì)產(chǎn)出的數(shù)據(jù)再做一遍加工，使系統(tǒng)真正可以到達(dá)上線標(biāo)準(zhǔn)。 本系統(tǒng)是一個(gè)直接面向生產(chǎn)的系統(tǒng)，僅僅是對(duì)理論設(shè)計(jì)的實(shí)現(xiàn)還遠(yuǎn)遠(yuǎn)不夠