基于周期信息的時間序列缺失值填補(bǔ)方法研究.pdf

1、研究背景： 時間序列模型已經(jīng)是醫(yī)學(xué)研究領(lǐng)域中重要的分析手段之一。然而，醫(yī)學(xué)時間序列數(shù)據(jù)收集時常面臨各種問題，缺失數(shù)據(jù)以及不規(guī)則采樣的情況在實(shí)際的資料收集中時有發(fā)生，而這些情況有時是無法通過質(zhì)量控制杜絕的。如何應(yīng)用數(shù)學(xué)方法和模型通過填補(bǔ)數(shù)據(jù)來解決不規(guī)則采樣以及含缺失數(shù)據(jù)的時間序列是研究的熱點(diǎn)問題之一。 缺失值的填補(bǔ)方法眾多，概括有：刪除法（Deletion）、加權(quán)調(diào)整法（Weighting）、填補(bǔ)法。刪除法與加權(quán)調(diào)整法都比

2、較簡單易行，但是代價是這兩種方法給出的填補(bǔ)值信息量較少，偏離真值。填補(bǔ)法是對各種填補(bǔ)措施的概括，常見的填補(bǔ)方法有替代法和建模估計(jì)法?；貧w填補(bǔ)法、熱平臺填補(bǔ)法和冷平臺填補(bǔ)法以及多重填充法。研究的比較多的多重填充法有以下幾種：PMM法（Predictive Mean Matching，PMM）、趨勢得分法（Propensity Score，PS）、馬爾科夫鏈蒙特卡羅法（Markov Chain Monte Carlo，MCMC）。目前應(yīng)用于

3、時間序列的新插值方法主要有：拋物線法、牛頓法、分段法等。 這些方法直接應(yīng)用于時間序列數(shù)據(jù)時存在以下的問題：①多數(shù)缺失值填補(bǔ)方法并不是針對時間序列數(shù)據(jù)設(shè)計(jì)的，很多方法在應(yīng)用于時間序列數(shù)據(jù)研究時受到限制，難以進(jìn)行。②缺失值的填補(bǔ)方法一般通過簡單的替代和刪除獲得新的樣本，但是由于時間的不可逆性導(dǎo)致每個時間點(diǎn)的測量值的不可重現(xiàn)性，致使這種思路在時間序列中是行不通的。③各種缺失值的填補(bǔ)方法對連續(xù)型缺失的耐受性比較差；隨機(jī)型缺失在達(dá)到30％

4、以上時一般的填補(bǔ)方法效果不佳。 本研究提出的基于周期信息的時間序列填補(bǔ)方法具有以下優(yōu)勢：①充分利用了時間序列數(shù)據(jù)的周期性特點(diǎn)，基于周期信息通過譜峰值加權(quán)填補(bǔ)時間序列缺失值，具有時間序列的個性化特點(diǎn)。并融合了時域技術(shù)和頻域技術(shù)，能夠較全面地反映時間序列的缺失值信息。②避免了簡單處理時間序列缺失值造成的信息損失和浪費(fèi)，以及生搬硬套式的填補(bǔ)造成原序列數(shù)據(jù)信息的丟失和扭曲。③該方法對于隨機(jī)型缺失以及連續(xù)型缺失數(shù)據(jù)的填補(bǔ)均有較穩(wěn)健的填補(bǔ)效

5、果。 研究目的：: （1）探討適用于周期性時間序列缺失數(shù)據(jù)（連續(xù)型、完全隨機(jī)型缺失）的處理流程理論和算法，應(yīng)用計(jì)算機(jī)模擬數(shù)據(jù)探尋填補(bǔ)方法的適用性，形成含周期性時間序列的缺失數(shù)據(jù)填補(bǔ)流程，以及該方法對不同程度不同類型缺失的耐受性。 （2）對相應(yīng)的填補(bǔ)方法進(jìn)行誤差估計(jì)，用不同的誤差評價指標(biāo)量化填補(bǔ)方法的誤差，從不同的角度考察方法的填補(bǔ)效果。 （3）用兩種不同缺失類型（連續(xù)型、完全隨機(jī)型缺失）的實(shí)例序列進(jìn)一步研

6、究，探討模型的實(shí)用性以及模型的應(yīng)用范圍。 研究方法： 本研究屬統(tǒng)計(jì)學(xué)方法的應(yīng)用基礎(chǔ)研究。基于時間序列模型的時域理論及頻域理論，應(yīng)用頻域信息來指導(dǎo)缺失數(shù)值的估算；設(shè)計(jì)相應(yīng)的缺失數(shù)據(jù)的填補(bǔ)流程，并考察缺失數(shù)據(jù)填補(bǔ)方法的應(yīng)用效果。通過實(shí)際數(shù)據(jù)和模擬數(shù)據(jù)的應(yīng)用評價周期性時間序列缺失值填補(bǔ)方法的填補(bǔ)效果，探討該流程相應(yīng)的適用條件。研究方法涉及時域信息提取、頻域信息提取、計(jì)算機(jī)模擬試驗(yàn)、綜合多個周期的加權(quán)法、實(shí)例數(shù)據(jù)的應(yīng)用、填補(bǔ)效果

7、考核等，較客觀地展現(xiàn)填補(bǔ)方法的填補(bǔ)效果。 結(jié)果： 通過模擬，產(chǎn)生時間序列數(shù)據(jù)資料的兩種缺失類型，完全隨機(jī)缺失和連續(xù)型缺失，應(yīng)用周期性填補(bǔ)方法填補(bǔ)并與spline（本次研究所選的填補(bǔ)缺失值的對照方法，是一種基于三次樣條函數(shù)對數(shù)據(jù)進(jìn)行平滑填補(bǔ)的方法，文中簡稱為spline）插值填補(bǔ)結(jié)果進(jìn)行比較研究。得到以下結(jié)果：①利用SAS模擬數(shù)據(jù)研究，周期性填補(bǔ)方法對于完全隨機(jī)型缺失和連續(xù)型缺失填補(bǔ)值的標(biāo)準(zhǔn)化的均方根誤差（NRMSE）與均

8、方根誤差（RMSE）均較小，兩種類型的缺失值填補(bǔ)效果都相對較穩(wěn)定。②隨機(jī)型缺失時，隨著缺失比例的增加周期性填補(bǔ)與spline填補(bǔ)兩者的填補(bǔ)效果均有下降，但周期性填補(bǔ)的效果始終優(yōu)于spline填補(bǔ)的效果。③不同長度的序列對缺失值填補(bǔ)有影響。相同的缺失比例，隨著序列長度的增加，周期性填補(bǔ)和spline填補(bǔ)的NRMSE與RMSE值均增大，填補(bǔ)的效果均降低。④連續(xù)型缺失隨著缺失個數(shù)的增多，連續(xù)型缺失比較嚴(yán)重時，周期性填補(bǔ)較spline填補(bǔ)法穩(wěn)定

9、，填補(bǔ)的效果也優(yōu)。 實(shí)例數(shù)據(jù)研究的結(jié)果也顯示：①隨機(jī)型缺失時，周期性填補(bǔ)和spline填補(bǔ)效果相當(dāng)，NRMSE和RMSE值均較小，近似于0，填補(bǔ)值比較準(zhǔn)確。②連續(xù)型缺失時，周期型填補(bǔ)較spline填補(bǔ)準(zhǔn)確，填補(bǔ)效果好。 結(jié)論： 根據(jù)缺失值的填補(bǔ)結(jié)果可得，周期性填補(bǔ)方法對于缺失類型為隨機(jī)型缺失和連續(xù)型缺失均體現(xiàn)較好的效果。與spline填補(bǔ)相比，周期性填補(bǔ)的穩(wěn)定性也是較好的。而對于缺失比例相同，序列長度不同的數(shù)據(jù)，