基于信息熵的高維數(shù)據(jù)流聚類及其應用研究.pdf

1、目前，雖然不少學者對高維數(shù)據(jù)流處理技術進行了諸多的研究工作，但仍然存在算法效率低、存儲數(shù)據(jù)量大等問題。本文在對高維數(shù)據(jù)流的特點進行全面分析的基礎上，對高維數(shù)據(jù)流的降維技術、聚類算法和趨勢分析方法進行了深入的研究。
　　本研究主要內(nèi)容包括：⑴研究了高維數(shù)據(jù)流的特點及其應用，重點分析了高維數(shù)據(jù)流的降維技術、經(jīng)典的聚類算法及其優(yōu)缺點。⑵提出了基于信息熵的特征投影降維算法—H-HpFitStream。針對高維數(shù)據(jù)流維數(shù)高和已有降維算法效率

2、低等問題，利用信息熵函數(shù)保留價值信息，同時提高降維算法效率，達到降維的目的;除此之外，該算法保存了數(shù)據(jù)流的概要數(shù)據(jù)，降低數(shù)據(jù)的存儲量，方便后續(xù)研究工作中對數(shù)據(jù)的提取和調(diào)用。⑶提出了改進后的數(shù)據(jù)流聚類算法—D-LFStream。針對LF聚類算法聚類效果較好但運行效率較低的缺點，采用滑動窗口處理技術，將密度算法思想引入其中，完善螞蟻的移動規(guī)則，使螞蟻在移動過程中更具有“方向性”，提高了算法的收斂速度。⑷提出了一種改進的數(shù)據(jù)流趨勢分析算法。根

3、據(jù)實際的應用需求，基于數(shù)據(jù)流變化的劇烈程度，選擇使用總體最小二乘法或指數(shù)回歸算法對其進行趨勢分析，從而提高了數(shù)據(jù)流趨勢分析的精度，使趨勢分析的結(jié)果更接近于真實數(shù)據(jù);同時結(jié)合置信區(qū)間理論對數(shù)據(jù)流中的變化點進行異常檢測，為監(jiān)測對象提供早期預警和重要的決策支持。⑸以橋梁健康監(jiān)測為應用目標，將經(jīng)過降維和聚類算法處理后的數(shù)據(jù)流應用到改進的趨勢分析算法中。仿真實驗結(jié)果表明，改進的算法成功實現(xiàn)了橋梁健康監(jiān)測數(shù)據(jù)流的降維和聚類操作，能有效的進行趨勢分析