基于數據預處理和回歸分析技術的數據挖掘算法及其應用研究.pdf

1、在當前科技飛速發(fā)展的形勢下,隨之而來的是數據的急速增長。這也吸引了國內外越來越多的專家學者們的目光,引發(fā)了研究海量數據的熱潮。新興起的數據挖掘技術目前已成為人們研究的熱點之一。所謂數據挖掘是從龐大的數據中提取有價值的或人們感興趣的知識的過程。本文在“西北黃土地區(qū)高速鐵路客運專線橋梁健康監(jiān)測若干問題研究”這個項目的背景下對海量數據的挖掘技術及算法進行研究,并將其應用到橋梁健康監(jiān)測預測中。
　　本文著重研究關于時間序列海量數據的挖掘算

2、法以及它的實際應用。由于實際監(jiān)測的數據有不完整性、含有噪聲、含有空值、異地存儲以及數量較大的特點,因此,若要對這些數據進行挖掘首先應當對其進行數據的預處理,而后使用行之有效的方法或算法對其處理,其結果才具有一定的可信度。
　　本文主要的研究內容有:
　　(1)闡述了數據挖掘的基礎理論和相關流程,并對在數據挖掘中常用的聚類分析、關聯規(guī)則以及分類和回歸分析方法進行了探討。在數據挖掘中對時間序列的數值進行預測時常用到回歸分析方法,

3、而BP算法是該方法中預測效果較好的一種算法,因此,本文著重分析了BP算法以及對其改進的一些常用方法及原理。
　　(2)將鄰域粗糙集理論引入數據預處理階段,首先分析鄰域粗糙集屬性約簡的原理,而后利用UCI數據集對其性能進行研究,并在與傳統(tǒng)的Pearson方法進行對比分析的基礎上,重點研究鄰域粗糙集算法在屬性約簡中的應用。
　　(3)為了將算法更好的應用在數據挖掘中,借助軟件仿真,首先,深入分析幾種常用改進后的BP神經網絡算法的

4、性能;其次,選擇兩個算法性能相對較好的改進函數,并在此基礎上提出4種基于遺傳算法優(yōu)化的BP神經網絡算法的模型;再次,確定了一種較有效的GA-BP模型算法;最后,經查閱相關文獻得知遺傳算法的參數選擇范圍后,采用固定兩個變量改變其中一個變量的方法確定出該模型性能最佳時的參數。
　　(4)將上述提出的數據預處理方法(數據的集成、數據的屬性約簡、數據的降噪、數據的歸一化)以及 GA-BP算法應用在橋梁健康監(jiān)測系統(tǒng)的斜拉橋斜拉索的索力預測上