基于MapReduce的網(wǎng)絡(luò)書寫紋識別關(guān)鍵技術(shù)研究.pdf

1、網(wǎng)絡(luò)書寫紋是指用戶在網(wǎng)絡(luò)文字中留下的具有獨特寫作風(fēng)格(如用詞習(xí)慣、語法結(jié)構(gòu)等)的特征集合。網(wǎng)絡(luò)書寫紋就像人的指紋一樣，是可以標(biāo)記作者寫作特征的獨一無二的標(biāo)識符。隨著研究的深入，作者數(shù)量增加，需要處理的總體數(shù)據(jù)規(guī)模也相應(yīng)增加，另外，研究中還發(fā)現(xiàn)，在程序運(yùn)行過程中，計算機(jī)的內(nèi)存、CPU等資源并沒有得到充分的利用。本文嘗試對網(wǎng)絡(luò)書寫紋識別研究中的數(shù)據(jù)處理關(guān)鍵算法并行化，以期能夠充分利用計算機(jī)資源，提高數(shù)據(jù)處理的效率。
　　 Ngram

2、是指給定一個序列的文本，根據(jù)N值選擇等長或變長的連續(xù)子序列。研究證明，基于Ngram特征的抽取是構(gòu)建網(wǎng)絡(luò)書寫紋個體特征集的重要技術(shù)，提高數(shù)據(jù)處理效率是Ngram特征抽取過程需要解決的重要內(nèi)容。本文設(shè)計Hadoop-Ngram算法，并在Hadoop集群上實現(xiàn)，實驗結(jié)果表明，相對未并行化的Ngram特征抽取，Hadoop-Ngram在文本數(shù)據(jù)的處理效率上有所提升，同時，CPU、內(nèi)存等資源的利用率也有所提高，計算機(jī)資源得到較充分的使用。在實驗

3、中，還通過配置Hadoop通用參數(shù)選項來比較數(shù)據(jù)的處理效率，實驗證明，根據(jù)處理任務(wù)的規(guī)模和特點靈活的配置Hadoop通用參數(shù)，可以使算法的運(yùn)行效率進(jìn)一步提高。
　　 基于特征選擇的集成學(xué)習(xí)(簡稱集成特征選擇)，是構(gòu)建網(wǎng)絡(luò)書寫紋分類模型的重要技術(shù)，它首先對特征集合進(jìn)行選擇，去除冗余和無效特征，然后按照一定的劃分算法對特征集進(jìn)行劃分，將劃分好的特征子集分配到個體分類器，由個體分類器處理特征子集，最后將各個體分類器的結(jié)果匯總得到分類模