環(huán)境監(jiān)測(cè)數(shù)據(jù)分析與預(yù)測(cè)模型研究.pdf

1、空氣污染影響著我們的健康和環(huán)境。2013年國(guó)務(wù)院發(fā)布大氣污染防治十條措施（大氣十條）以及國(guó)家重點(diǎn)研發(fā)計(jì)劃中的環(huán)境專項(xiàng)等政策制定和資金支持，都表明國(guó)家對(duì)環(huán)境問(wèn)題的重視。本論文對(duì)環(huán)境數(shù)據(jù)進(jìn)行分析并對(duì)預(yù)測(cè)模型研究，由五部分組成。
　　第一部分闡述了研究背景、內(nèi)容和研究意義。隨著大眾對(duì)生活區(qū)域內(nèi)的空氣污染指數(shù)的關(guān)心，大氣監(jiān)測(cè)數(shù)據(jù)由以往的僅僅少數(shù)幾個(gè)重點(diǎn)監(jiān)測(cè)點(diǎn)，發(fā)展到區(qū)域網(wǎng)格化布點(diǎn)，使得監(jiān)測(cè)時(shí)空數(shù)據(jù)量增長(zhǎng)較快。傳統(tǒng)的空氣質(zhì)量預(yù)測(cè)模型因?yàn)閿?shù)據(jù)

2、采集點(diǎn)少，只能密切結(jié)合地理氣象等外部數(shù)據(jù)，數(shù)據(jù)不同步同時(shí)模型較為復(fù)雜。而現(xiàn)在隨著大量采集點(diǎn)的出現(xiàn)，能否利用數(shù)據(jù)挖掘相關(guān)技術(shù)構(gòu)建預(yù)測(cè)模型，是目前研究者們關(guān)注的問(wèn)題。本文研究目的是面對(duì)逐漸增加的環(huán)境數(shù)據(jù)進(jìn)行數(shù)據(jù)分析，找到合適的數(shù)據(jù)挖掘技術(shù)，進(jìn)而探索更好的大氣環(huán)境污染物預(yù)測(cè)模型。本文的研究過(guò)程基于六個(gè)步驟（數(shù)據(jù)理解、數(shù)據(jù)預(yù)處理、傳統(tǒng)模型、模型評(píng)價(jià)、模型解釋、比較優(yōu)化模型）。本研究探索了新形式下的預(yù)測(cè)方法，是對(duì)傳統(tǒng)預(yù)測(cè)模型的有益補(bǔ)充。
　

3、　第二部分是對(duì)國(guó)外案例分析和數(shù)據(jù)分析技術(shù)的研究。從預(yù)測(cè)功能方面調(diào)查了國(guó)外著名案例。美國(guó)AirNow，向公眾提供易于訪問(wèn)的國(guó)家總體空氣質(zhì)量信息和空氣質(zhì)量指數(shù)(AQI)。澳大利亞空氣質(zhì)量預(yù)報(bào)系統(tǒng)（AAQFS）是一個(gè)前端顯示框架，用于預(yù)測(cè)下一天的空氣質(zhì)量，該系統(tǒng)輸入為氣象和排放數(shù)據(jù)，輸出為對(duì)空氣質(zhì)量的逐時(shí)預(yù)測(cè)，目前在墨爾本、悉尼和阿德萊德已經(jīng)投入使用。印度SAFAR（空氣質(zhì)量-天氣預(yù)報(bào)與研究系統(tǒng)等。其后，本文論述了數(shù)據(jù)挖掘的技術(shù)方法。數(shù)據(jù)挖掘

4、是從不同的角度分析數(shù)據(jù)并將其歸納為有用信息的過(guò)程。數(shù)據(jù)挖掘技術(shù)很多，在本研究中主要采用了數(shù)據(jù)預(yù)處理（數(shù)據(jù)的選擇、集成、過(guò)濾、采樣、清洗和轉(zhuǎn)換）技術(shù)對(duì)數(shù)據(jù)進(jìn)行分析準(zhǔn)備，通過(guò)多元線性回歸分析（在同一記錄內(nèi)的屬性值之間的關(guān)系的分析，自動(dòng)生產(chǎn)的模型，可以預(yù)測(cè)未來(lái)記錄的屬性值）進(jìn)行預(yù)測(cè)模型的建立。
　　第三部分探討了數(shù)據(jù)采集和數(shù)據(jù)處理。本研究從北京市環(huán)境監(jiān)測(cè)中心網(wǎng)站收集了空氣質(zhì)量數(shù)據(jù)。該網(wǎng)站是通過(guò)提供預(yù)報(bào)和實(shí)時(shí)空氣質(zhì)量信息來(lái)保護(hù)公共衛(wèi)生的天

5、氣網(wǎng)站?？諝赓|(zhì)量監(jiān)測(cè)網(wǎng)由分布在北京工業(yè)區(qū)和交通樞紐區(qū)的大量使用無(wú)線傳感器的監(jiān)測(cè)點(diǎn)組成。使用數(shù)據(jù)抓取軟件從網(wǎng)站中捕獲歷史數(shù)據(jù)，數(shù)據(jù)從35個(gè)監(jiān)控站收集，其中包括12個(gè)城市環(huán)境評(píng)估點(diǎn)，11個(gè)郊區(qū)環(huán)境評(píng)估點(diǎn)，7個(gè)控制點(diǎn)，以及5個(gè)位于北京市的交通污染監(jiān)測(cè)點(diǎn)。數(shù)據(jù)集是2013年至2016年。以天壇國(guó)家控制點(diǎn)為例，以數(shù)據(jù)統(tǒng)計(jì)每1小時(shí)計(jì)數(shù)一次，共有17544個(gè)數(shù)據(jù)。數(shù)據(jù)分析實(shí)驗(yàn)使用17000個(gè)數(shù)據(jù)作為訓(xùn)練數(shù)據(jù)，544個(gè)被用作驗(yàn)證數(shù)據(jù)。數(shù)據(jù)參數(shù)包括氣象參

6、數(shù)和污染物濃度參數(shù)，氣象參數(shù)包括（溫度，風(fēng)速，風(fēng)向，大氣壓力，相對(duì)濕度），空氣污染物參數(shù)(NO2，SO2，O3，CO，PM2.5和PM10)。使用SPSS軟件進(jìn)行預(yù)處理，包括數(shù)據(jù)清洗和轉(zhuǎn)換，這是數(shù)據(jù)分析項(xiàng)目中最重要的一步。數(shù)據(jù)清洗的目的是從數(shù)據(jù)集中消除噪聲和不相關(guān)的信息，數(shù)據(jù)轉(zhuǎn)換是根據(jù)數(shù)據(jù)類型和值將原始數(shù)據(jù)修改為不同的格式。初始數(shù)據(jù)集表中包含的大部分原始數(shù)據(jù)未經(jīng)預(yù)處理、不完整和嘈雜。假如數(shù)據(jù)中某些值存在一些缺失值，我們針對(duì)不同的情況通過(guò)

7、三種方法解決，分別是選擇使用某些缺失值的平均值，把某些數(shù)據(jù)的缺失值直接刪除，隨機(jī)從數(shù)據(jù)集中選擇缺失值。通過(guò)預(yù)處理后數(shù)據(jù)可以進(jìn)行進(jìn)一步分析。通過(guò)SPSS分析軟件，得到基本的分析結(jié)果。
　　第四部分論述了基于多元線性回歸的預(yù)測(cè)模型和實(shí)驗(yàn)結(jié)果。預(yù)測(cè)模型是通過(guò)使用六個(gè)步驟，引入，清理，提取，合并，分組和歸一化構(gòu)建的。我們通過(guò)改變輸入方式和輸入?yún)?shù)來(lái)優(yōu)化多元線性回歸，然后通過(guò)三個(gè)主要測(cè)試步驟:相關(guān)系數(shù)測(cè)試、F檢驗(yàn)和t檢驗(yàn)的度量來(lái)評(píng)估預(yù)測(cè)模型

8、的準(zhǔn)確度。相關(guān)系數(shù)測(cè)試是確定線性回歸模型的良好性的重要指標(biāo)，相關(guān)系數(shù)用回歸平方和與平方總和的比率表示，其代表因變量y的變化多少是由變量x引起的，也就是說(shuō)，變量x可以將變化解釋為總變異的百分比。F檢驗(yàn)用于檢驗(yàn)解釋變量與解釋變量之間的線性關(guān)系是否顯著。t檢驗(yàn)，確定哪些變量應(yīng)該作為模型中的解釋變量保留。同樣使用SPSS分析軟件進(jìn)行實(shí)驗(yàn)。通過(guò)以上測(cè)試，可以看出相關(guān)系數(shù)測(cè)試的標(biāo)準(zhǔn)偏差誤差為76.712，R平方值為.410，可以調(diào)整R平方，優(yōu)化模型

9、的擬合效果，調(diào)整后的R平方值越大，模型的擬合效果越好，所以調(diào)整后的R平方值為.705。F檢驗(yàn)的顯著性為（P值）=0.000＜0.01，模型1變量具有顯著性，由自變量和因變量（PM10濃度）參數(shù)建立的線性關(guān)系具有非常顯著性和統(tǒng)計(jì)學(xué)意義?？諝鈮毫?hpa)，濕度(％)，風(fēng)速(m/s)，風(fēng)向(deg)，回歸系數(shù)（P值）=0.000＜0.05，表明這些回歸系數(shù)具有統(tǒng)計(jì)學(xué)意義，溫度(℃)的偏回歸系數(shù)（P值）=0.167＞0.01，表明這些回歸系數(shù)

10、具有統(tǒng)計(jì)學(xué)意義。在優(yōu)化多元線性回歸過(guò)程中，逐步線性回歸的結(jié)果表明，PM2.5對(duì)模型影響最大，同時(shí)可以看出，SO2、N02、CO、風(fēng)向這四個(gè)變量沒(méi)有回歸意義。雖然這四個(gè)變量可以提高模型的擬合度，但擬合度并不是確定最優(yōu)模型的唯一標(biāo)準(zhǔn)，因此逐步線性回歸方程去除這四個(gè)變量。驗(yàn)證數(shù)據(jù)與預(yù)測(cè)數(shù)據(jù)的比較結(jié)果表明，傳統(tǒng)多元線性回歸模型的擬合度達(dá)到0.405，而優(yōu)化線性回歸模型實(shí)驗(yàn)結(jié)果表明，通過(guò)引入其他污染物濃度和氣象參數(shù)，優(yōu)化多元線性模型的擬合度可以達(dá)

11、到0.957，其他污染物和氣象參數(shù)的擬合比例與純氣象參數(shù)相比提高了0.552。
　　第五部分是總結(jié)和展望。在過(guò)去十年中，大氣科學(xué)中已經(jīng)嘗試采用了多元線性回歸、回歸樹(shù)和神經(jīng)網(wǎng)絡(luò)等統(tǒng)計(jì)模型對(duì)空氣質(zhì)量進(jìn)行實(shí)時(shí)預(yù)測(cè)，但數(shù)據(jù)量不大使得傳統(tǒng)的線性模型效率不高。我們改進(jìn)了傳統(tǒng)多元線性回歸模型構(gòu)建了更好的預(yù)測(cè)模型。通過(guò)數(shù)據(jù)預(yù)處理方法對(duì)數(shù)據(jù)進(jìn)行分析，然后使用相關(guān)系數(shù)測(cè)試，F(xiàn)檢驗(yàn)和t檢驗(yàn)來(lái)檢驗(yàn)?zāi)Ｐ偷臏?zhǔn)確性，最后將預(yù)測(cè)結(jié)果應(yīng)用于驗(yàn)證數(shù)據(jù)。實(shí)驗(yàn)結(jié)果表明，