數(shù)據(jù)挖掘的若干新方法及其在我國證券市場中應(yīng)用.pdf

1、數(shù)據(jù)挖掘是信息領(lǐng)域發(fā)展最快的技術(shù)，很多不同領(lǐng)域的專家，比如統(tǒng)計學(xué)家、數(shù)據(jù)庫專家等，都從中獲得了發(fā)展的空間，使得數(shù)據(jù)挖掘日益成為企業(yè)界討論的熱門話題。隨著信息技術(shù)的發(fā)展，人們采集數(shù)據(jù)的手段日益豐富與高明，由此積累的數(shù)據(jù)日益膨脹，數(shù)據(jù)量達(dá)到GB甚至TB級，而且高維數(shù)據(jù)也日益成為主流。這些海量數(shù)據(jù)及其高維特征使得傳統(tǒng)的數(shù)據(jù)分析手段相形見絀。計算機性能的日益更新，使得人們能夠期望計算機幫助我們分析與理解數(shù)據(jù)，幫助我們以豐富的數(shù)據(jù)為基礎(chǔ)做出正確決

2、策。 數(shù)理統(tǒng)計是應(yīng)用數(shù)學(xué)中最重要、最活躍的學(xué)科之一，它在計算機發(fā)明之前就誕生了，迄今已有幾百年的發(fā)展歷史。如今相當(dāng)強大有效的數(shù)理統(tǒng)計方法和工具，已成為信息咨詢業(yè)的基礎(chǔ)。信息時代，咨詢業(yè)更為發(fā)達(dá)。然而，數(shù)理統(tǒng)計和數(shù)據(jù)庫技術(shù)結(jié)合得并不算快，數(shù)據(jù)庫查詢語言SQL中的聚合函數(shù)功能極其簡單，就是一個證明。咨詢業(yè)用數(shù)據(jù)庫查詢數(shù)據(jù)還遠(yuǎn)遠(yuǎn)不夠。一旦人們有了從數(shù)據(jù)查詢到知識發(fā)現(xiàn)、從數(shù)據(jù)演繹到數(shù)據(jù)歸納的要求，概率論和數(shù)理統(tǒng)計就獲得了新的生命力，所以

3、才會在DM這個結(jié)合點上，立即呈現(xiàn)出“忽如一夜春風(fēng)來，千樹萬樹梨花開”的繁榮景象。一向以數(shù)理統(tǒng)計工具和可視化計算聞名的美國SAS公司，領(lǐng)先宣布進(jìn)入DM行列真正所說明這一點。 因此有必要將更多的統(tǒng)計學(xué)的知識應(yīng)用到數(shù)據(jù)挖掘領(lǐng)域中來，使得DM得到更充分的發(fā)展，使統(tǒng)計學(xué)的應(yīng)用價值得到更充分的體現(xiàn)。 本文主要是探索一些統(tǒng)計方法，并應(yīng)用到滬、深股市的研究中。 第一章介紹了數(shù)據(jù)挖掘的一些相關(guān)概念、基礎(chǔ)知識以及國內(nèi)外的發(fā)展現(xiàn)狀。

4、第二章我們應(yīng)用一些非常成熟的方法，在閆冀楠[1]的基礎(chǔ)上對滬、深股市作了進(jìn)一步分析，給出了我國股票市場運行并非完全有效的有力論斷，為后面的工作提供基本前提。 第三章應(yīng)用線性模型的相關(guān)理論，提出了新的檢驗創(chuàng)新異常點的方法，并在我國證券市場進(jìn)行實證分析，獲得較好的結(jié)果。 第四章應(yīng)用異常診斷中一些常用距離方法（ 距離法、似然距離法），并在此基礎(chǔ)上給出了一種新的 距離，在證券實證分析中挖掘出效率很高的“線性”和“非線性”段。