專家信息資源收集中數(shù)據(jù)清洗與融合算法研究.pdf

1、專家信息資源由于規(guī)模巨大從而在收集過(guò)程中存在冗余度高、可信度低且信息描述方式不一致等問(wèn)題，結(jié)果準(zhǔn)確性難以保證。因此有效的數(shù)據(jù)清洗技術(shù)成為必須。而清洗中的規(guī)范與之后的融合是決定專家信息能否實(shí)用的關(guān)鍵步驟。所以如何進(jìn)行專家信息的規(guī)范化與有效融合是本論文的研究重點(diǎn)。
　　本文針對(duì)專家成果類別信息的不規(guī)范問(wèn)題，研究了傳統(tǒng)的數(shù)據(jù)清洗算法，在此基礎(chǔ)上，提出了一種基于特征的數(shù)據(jù)標(biāo)準(zhǔn)化方法(Feature based Data Standardi

2、zation，簡(jiǎn)稱FDS)。該方法通過(guò)訓(xùn)練集總結(jié)出專家成果類別的數(shù)據(jù)特點(diǎn)，計(jì)算出各數(shù)據(jù)項(xiàng)的特征權(quán)值，從而識(shí)別出各數(shù)據(jù)項(xiàng)對(duì)應(yīng)的數(shù)據(jù)狀態(tài)，按照需求決定各數(shù)據(jù)項(xiàng)的排列順序。分析與實(shí)驗(yàn)結(jié)果表明，當(dāng)數(shù)據(jù)規(guī)模較大時(shí)，該算法在對(duì)識(shí)別精度影響非常小的情況下，在時(shí)間消耗方面優(yōu)于現(xiàn)有的算法。針對(duì)專家屬性值冗余與可信度較低的問(wèn)題，論文提出了一種基于粒計(jì)算的信息自動(dòng)融合算法(Granular Computing-based automaticInformati

3、on Fusion，簡(jiǎn)稱GCIF)。該算法通過(guò)計(jì)算與合理分配各信息來(lái)源的可信度，將所有信息樣本構(gòu)造成一個(gè)知識(shí)粒圖，在知識(shí)粒圖上尋找最大權(quán)值路徑，路徑上的所有知識(shí)粒子即為最終的信息融合結(jié)果，從而提高融合結(jié)果的可信度。分析與模擬結(jié)果表明，該算法在數(shù)據(jù)規(guī)模較大的情況下，在不同沖突比例情況下，都能得到較好的融合效果，在融合準(zhǔn)確性方面優(yōu)于同類算法。信息的質(zhì)量對(duì)專家信息資源融合的準(zhǔn)確性有很大的影響，所以在融合前應(yīng)該對(duì)信息進(jìn)行標(biāo)準(zhǔn)化，而傳統(tǒng)的數(shù)據(jù)清洗