基于分子光譜的多元校正模型優(yōu)化與轉(zhuǎn)移方法及其應(yīng)用研究.pdf

1、分子光譜是一種常用的獲得物質(zhì)定性和定量信息的分析手段，主要包括紫外-可見光譜（Ultraviolet-Visible Spectroscopy）、近紅外光譜(Near Infrared Spectroscopy)、中紅外光譜(Mid-Infrared Spectroscopy)、拉曼光譜（Raman Spectroscopy）和熒光光譜(Fluorescence Spectroscopy)等。因?yàn)榉肿庸庾V測(cè)試簡(jiǎn)單便捷、適合于多種形態(tài)的樣

2、本分析且信息豐富，在化學(xué)成分分析中有著非常廣泛的應(yīng)用。尤其是近紅外光譜和拉曼光譜與多元校正方法相結(jié)合，不需做樣本預(yù)處理，可實(shí)現(xiàn)樣本的無(wú)損在線分析，廣泛應(yīng)用于各個(gè)領(lǐng)域。然而，由于干擾和其它光學(xué)效應(yīng)的存在，此類光譜一般具有背景復(fù)雜，譜峰重疊，信號(hào)弱等特點(diǎn)。因此，如何從復(fù)雜、重疊的分子光譜信號(hào)中提取微弱的有用信息，并建立滿足需要的校正模型是目前基于分子光譜技術(shù)進(jìn)行定性和定量分析的關(guān)鍵，直接決定該項(xiàng)技術(shù)的可用性?；诖?，本論文主要以近紅外光譜和

3、拉曼光譜為對(duì)象，對(duì)影響分子光譜建模的奇異樣本檢測(cè)、光譜預(yù)處理、波長(zhǎng)選擇、多元校正模型建立和轉(zhuǎn)移方法、光譜融合等方面進(jìn)行了研究，主要內(nèi)容包括:
　　一、奇異樣本的消除與否對(duì)模型的穩(wěn)健性和預(yù)測(cè)精度有著重要影響，分子光譜的建模大量應(yīng)用了主成分回歸和偏最小二乘回歸等非穩(wěn)健的多元校正方法，采用這些方法進(jìn)行建模之前，應(yīng)對(duì)光譜數(shù)據(jù)的奇異點(diǎn)進(jìn)行檢測(cè)和剔除。由于光譜的高度相似性，我們只能夠借助于一些數(shù)學(xué)方法來(lái)對(duì)這些樣品進(jìn)行評(píng)估和診斷。本文采用了基于

4、蒙特卡洛采樣的奇異樣本診斷方法，對(duì)近紅外光譜測(cè)定液態(tài)牛奶的蛋白質(zhì)和脂肪含量數(shù)據(jù)及拉曼光譜測(cè)定汽油中總烯烴含量的數(shù)據(jù)進(jìn)行了診斷，并與經(jīng)典方法馬氏距離法和穩(wěn)健偏最小二乘法進(jìn)行了比較，結(jié)果表明，采用基于蒙特卡羅采樣的方法能夠有效的剔除數(shù)據(jù)中的奇異樣品，顯著提高模型的預(yù)測(cè)精度，其結(jié)果優(yōu)于馬氏距離法和穩(wěn)健偏最小二乘法，可以在光譜分析的數(shù)據(jù)診斷中發(fā)揮有效作用。
　　二、分子光譜數(shù)據(jù)的共線性十分嚴(yán)重，通過(guò)篩選特征波長(zhǎng)（波數(shù)）建?？梢院?jiǎn)化模型并提

5、高模型的預(yù)測(cè)能力和穩(wěn)健性。本文分別通過(guò)對(duì)不同食醋種類的近紅外光譜識(shí)別，食醋總酸含量的近紅外光譜測(cè)定，不同植物油的拉曼光譜識(shí)別及白酒中乙醇含量的拉曼光譜測(cè)定四個(gè)應(yīng)用對(duì)象進(jìn)行研究，引入競(jìng)爭(zhēng)自適應(yīng)重加權(quán)采樣(Competitive Adaptive Reweighted Sampling，CARS)方法選擇關(guān)鍵波長(zhǎng)（波數(shù)）建立模型，采用這些關(guān)鍵波長(zhǎng)（波數(shù)）建立的模型，模型復(fù)雜度降低且預(yù)測(cè)誤差有了顯著的減小，證明了CARS方法可以和光譜分析相結(jié)

6、合，在光譜定性和定量應(yīng)用中起到較好的作用。
　　三、多元校正模型的建立是進(jìn)行分子光譜定性定量分析的基礎(chǔ)，新型建模方法一直是本領(lǐng)域研究的熱點(diǎn)之一。本文針對(duì)不同光譜數(shù)據(jù)的特點(diǎn)，結(jié)合機(jī)器學(xué)習(xí)的最近進(jìn)展，發(fā)展了兩種新的光譜定性定量分析多元校正方法。第一種方法是結(jié)合小波變換和隨機(jī)森林(Random Forest，RF)的分類方法，用于近紅外光譜對(duì)蜂蜜摻假的鑒別。小波分解和重建可以壓縮光譜數(shù)據(jù)并過(guò)濾掉噪聲等干擾信息，而隨機(jī)森林方法作為一種包含

7、多個(gè)決策樹的分類器具有優(yōu)良的分類效果，可以提高光譜定性識(shí)別的正確率。第二種方法是小波變換結(jié)合支持向量機(jī)(Support Vector Machines，SVM)方法，用于拉曼光譜對(duì)汽油中總芳烴含量的測(cè)定。同樣采用小波分解和重建壓縮過(guò)濾光譜之后，采用基于結(jié)構(gòu)風(fēng)險(xiǎn)最小化的SVM模型進(jìn)行預(yù)測(cè)，與偏最小二乘法(PLS)的結(jié)果比較表明，該方法能夠提升預(yù)測(cè)結(jié)果。
　　四、為了解決不同光譜儀器之間光譜的差異性問(wèn)題，提出了一種基于典型相關(guān)分析的光

8、譜多元校正模型轉(zhuǎn)移新方法。典型相關(guān)分析是一種能夠有效地揭示兩組變量之間相互線性依賴關(guān)系的多元統(tǒng)計(jì)分析方法。在本方法中，我們首先對(duì)原光譜和目標(biāo)光譜進(jìn)行典型相關(guān)分析，然后用所得到的典型相關(guān)變量進(jìn)行轉(zhuǎn)換。因?yàn)閮山M光譜之間反應(yīng)被測(cè)物信息的部分是一致的，應(yīng)該是相互線性相關(guān)的，而噪聲和干擾信息是隨機(jī)的，所以是無(wú)關(guān)的。結(jié)果表明，采用典型相關(guān)變量進(jìn)行轉(zhuǎn)換，可以從整體光譜中提取有效信息，同時(shí)濾除噪聲和干擾信息，得到較好的模型轉(zhuǎn)移結(jié)果。
　　五、光譜

9、分析的預(yù)測(cè)質(zhì)量主要取決于多元校正模型的質(zhì)量。因此模型建立之后的驗(yàn)證也十分重要。當(dāng)前，模型驗(yàn)證一般建立在一個(gè)單獨(dú)的測(cè)試集或者固定樣本分組后的單次交叉檢驗(yàn)上，這樣的比較方法在小數(shù)量樣本上具有得出錯(cuò)誤結(jié)論的風(fēng)險(xiǎn)?；诖?，我們根據(jù)模型集群分析的思路，通過(guò)不斷改變測(cè)試集與訓(xùn)練集的樣本劃分，獲取了不同樣本集的預(yù)測(cè)誤差的分布，并可以對(duì)它們進(jìn)行統(tǒng)計(jì)檢驗(yàn)，可以得到可靠的結(jié)論。結(jié)果表明，這樣能夠提高模型驗(yàn)證比較的可靠性。
　　六、近紅外光譜和拉曼光譜

10、均具有多種不同種類的儀器，包括實(shí)驗(yàn)室研究型或者便攜式儀器，傅立葉變換型或者CCD檢測(cè)器型等。這些儀器具有不同的分辨率以及性能。結(jié)合合適的化學(xué)計(jì)量學(xué)處理方法，較弱性能的儀器數(shù)據(jù)有可能達(dá)到和較高性能儀器數(shù)據(jù)相類似的預(yù)測(cè)效果。本文基于此，對(duì)不同分辨率的光譜儀器測(cè)試了相同的樣本，分別加以處理后，對(duì)預(yù)測(cè)結(jié)果進(jìn)行了統(tǒng)計(jì)檢驗(yàn)，結(jié)果表明，合適的數(shù)據(jù)處理方法可以大幅提高較弱性能儀器的預(yù)測(cè)結(jié)果，并達(dá)到與較高性能的儀器預(yù)測(cè)結(jié)果相類似的水平。
　　七、不