超高維數(shù)據(jù)下特征篩選方法的研究與應用.pdf

1、隨著大數(shù)據(jù)時代的到來，在氣象預測、模式識別、基因研究等一些領域中，常面臨超高維數(shù)據(jù)。對于超高維數(shù)據(jù)，只有少量的協(xié)變量同響應變量之間是相互關聯(lián)的，模型呈現(xiàn)稀疏性特征，由于維數(shù)過高，傳統(tǒng)的穩(wěn)健的統(tǒng)計分析方法和高維數(shù)據(jù)變量選擇方法會變得不再適用。為了更好的對超高維數(shù)據(jù)進行分析，需要對它進行降維處理。近年來很多學者提出多種便捷的超高維變量篩選方法，一種有效合理的方法是將其分為兩步，首先使用一種快捷高效的變量篩選過程將超高維數(shù)據(jù)降低到樣本大小之下

2、的合適規(guī)模，并能夠保留所有重要變量，在此基礎上再使用一些成熟的方法對降維后的高維數(shù)據(jù)進行變量選擇。本文創(chuàng)新性的提出兩種超高維特征篩選法，在出現(xiàn)異方差、重尾等復雜超高維數(shù)據(jù)時基于區(qū)間條件分位數(shù)提出了一種穩(wěn)健的超高維特征篩選方法;當面臨響應變量隨機缺失的不完全超高維數(shù)據(jù)問題中，提出一種基于逆概率加權的邊際相關度量特征篩選方法。
　　本碩士論文的主體工作如下:
　　第一章概述了超高維數(shù)據(jù)下變量篩選的研究歷史與現(xiàn)狀，以及對分位數(shù)和缺

3、失數(shù)據(jù)進行了系統(tǒng)的回顧與學習。
　　第二章提出一種穩(wěn)健的區(qū)間條件分位數(shù)超高維特征篩選法，處理重尾、異常點這些復雜的超高維數(shù)據(jù)。目前大部分的條件分位數(shù)的研究都是基于一個單一的分位數(shù)水平下進行的，變量的篩選依賴于所提前設置的分位數(shù)，這使得分位數(shù)點的擾動可能導致變量篩選的不穩(wěn)定性，本文引入全局分位數(shù)回歸思想，讓分位點取一個區(qū)間，提出一種基于區(qū)間的條件分位數(shù)篩選方法，使其篩選標準更加準確，并通過理論證明、模擬研究和實例說明改進后的方法更加