專家信息資源收集中數(shù)據(jù)清洗與融合算法研究.pdf

1、專家信息資源由于規(guī)模巨大從而在收集過程中存在冗余度高、可信度低且信息描述方式不一致等問題，結(jié)果準(zhǔn)確性難以保證。因此有效的數(shù)據(jù)清洗技術(shù)成為必須。而清洗中的規(guī)范與之后的融合是決定專家信息能否實(shí)用的關(guān)鍵步驟。所以如何進(jìn)行專家信息的規(guī)范化與有效融合是本論文的研究重點(diǎn)。
　　本文針對專家成果類別信息的不規(guī)范問題，研究了傳統(tǒng)的數(shù)據(jù)清洗算法，在此基礎(chǔ)上，提出了一種基于特征的數(shù)據(jù)標(biāo)準(zhǔn)化方法(Feature based Data Standardi

2、zation，簡稱FDS)。該方法通過訓(xùn)練集總結(jié)出專家成果類別的數(shù)據(jù)特點(diǎn)，計(jì)算出各數(shù)據(jù)項(xiàng)的特征權(quán)值，從而識別出各數(shù)據(jù)項(xiàng)對應(yīng)的數(shù)據(jù)狀態(tài)，按照需求決定各數(shù)據(jù)項(xiàng)的排列順序。分析與實(shí)驗(yàn)結(jié)果表明，當(dāng)數(shù)據(jù)規(guī)模較大時，該算法在對識別精度影響非常小的情況下，在時間消耗方面優(yōu)于現(xiàn)有的算法。針對專家屬性值冗余與可信度較低的問題，論文提出了一種基于粒計(jì)算的信息自動融合算法(Granular Computing-based automaticInformati

3、on Fusion，簡稱GCIF)。該算法通過計(jì)算與合理分配各信息來源的可信度，將所有信息樣本構(gòu)造成一個知識粒圖，在知識粒圖上尋找最大權(quán)值路徑，路徑上的所有知識粒子即為最終的信息融合結(jié)果，從而提高融合結(jié)果的可信度。分析與模擬結(jié)果表明，該算法在數(shù)據(jù)規(guī)模較大的情況下，在不同沖突比例情況下，都能得到較好的融合效果，在融合準(zhǔn)確性方面優(yōu)于同類算法。信息的質(zhì)量對專家信息資源融合的準(zhǔn)確性有很大的影響，所以在融合前應(yīng)該對信息進(jìn)行標(biāo)準(zhǔn)化，而傳統(tǒng)的數(shù)據(jù)清洗