面向漁場分析的數(shù)據(jù)預處理方法研究及系統(tǒng)實現(xiàn).pdf

1、近年來,數(shù)據(jù)挖掘(Data Mining)引起了信息產(chǎn)業(yè)界的極大興趣,其主要原因是現(xiàn)實中存在大量數(shù)據(jù),不能被充分使用,另一方面存在著迫切的需要將這些數(shù)據(jù)轉(zhuǎn)化為有用的信息的需求。數(shù)據(jù)預處理是一個完整的數(shù)據(jù)挖掘過程基礎(chǔ)步驟,所以數(shù)據(jù)預處理的優(yōu)劣直接影響數(shù)據(jù)挖掘的成效。同時,隨著信息技術(shù)和空間技術(shù)的發(fā)展,衛(wèi)星遙感在海洋漁業(yè)中的應用研究也倍受人們的關(guān)注。基于海洋衛(wèi)星遙感數(shù)據(jù)和漁業(yè)產(chǎn)量數(shù)據(jù)的漁場分析和漁情預測已逐漸成為漁業(yè)主管部門和生產(chǎn)單位如何進

2、行魚訊生產(chǎn)部署和管理的重要依據(jù)。
　　目前,領(lǐng)域?qū)＜疫M行漁場分析和漁情預測主要運用相關(guān)性分析、線性回歸、多元線性回歸、非線性回歸以及各種智能算法,包括神經(jīng)網(wǎng)絡(luò)等。領(lǐng)域?qū)＜以谑褂眠@些算法時,數(shù)據(jù)源是通過瀏覽器獲得,在下載數(shù)據(jù)量多的情況下,操作復雜繁瑣;數(shù)據(jù)處理是使用各種軟件如Excel、SPSS、ArcGis等進行處理。這種做法不僅沒有真正利用各種軟件的長處,反而增加了數(shù)據(jù)處理的復雜程度,沒有合理有效地進行數(shù)據(jù)預處理。
　　本

3、文針對漁業(yè)應用,分析漁業(yè)生產(chǎn)數(shù)據(jù)和海洋衛(wèi)星遙感數(shù)據(jù)的特點,提出一種綜合預處理這兩種數(shù)據(jù)的方法,提高數(shù)據(jù)預處理的效率,達到業(yè)務(wù)化應用程度。包括創(chuàng)新性地將數(shù)據(jù)源獲取作為數(shù)據(jù)預處理過程中的一個步驟,提出自動化獲取海洋遙感數(shù)據(jù)的方法,該方法獲取的數(shù)據(jù)能夠在時間和空間上進行定制,使用戶得到數(shù)據(jù)更加方便;改進地質(zhì)學中的克里格(Kringing)插值算法應用于衛(wèi)星遙感數(shù)據(jù)的補缺,提高數(shù)據(jù)補缺精度;利用BP神經(jīng)網(wǎng)絡(luò)提取遙感圖片數(shù)據(jù),與普通方法相比,大幅

4、度減少數(shù)據(jù)提取時間和提高精度;運用基于概念樹的面向?qū)傩詺w納的方法對海洋遙感環(huán)境數(shù)據(jù)和漁業(yè)產(chǎn)量數(shù)據(jù)在不同時間尺度和空間尺度上進行自動歸納,增加數(shù)據(jù)預處理速度。另外本文還增加了漁場分析和漁情預測中常用指數(shù)的自動計算功能。
　　本文的主要工作及結(jié)果如下:
　　(1)海洋遙感數(shù)據(jù)的種類包括海表溫度、海面高度、葉綠色濃度等,數(shù)據(jù)的格式包括.txt、.nc、.jpg等,數(shù)據(jù)來源的網(wǎng)站包括oceanwatch、哥倫比亞、微波網(wǎng)、日本氣象廳

5、等,通過分析網(wǎng)站結(jié)構(gòu),下載鏈接字符串等步驟,自動獲取海洋遙感環(huán)境數(shù)據(jù)。
　　(2)改進地質(zhì)學中Kriging插值算法,填補由于云層遮擋等原因造成的環(huán)境數(shù)據(jù)缺失,對Kriging算法中的各種變異函數(shù)進行試驗驗證,以期獲得最佳的變異函數(shù)模型,使填補精度進一步提高。
　　(3)運用BP神經(jīng)網(wǎng)絡(luò)訓練遙感環(huán)境圖片中的標準色卡,得到模型,利用此模型提取遙感環(huán)境圖片數(shù)據(jù),填補沒有一種行之有效的方法提取遙感環(huán)境圖片數(shù)據(jù)的空白。
　　(

6、4)運用概念樹屬性歸納對海洋遙感環(huán)境數(shù)據(jù)和漁業(yè)產(chǎn)量數(shù)據(jù)在不同時間粒度和空間尺度上進行自動歸納,產(chǎn)量數(shù)據(jù)和環(huán)境數(shù)據(jù)在時間尺度、空間尺度都從最低概念層次進行存儲,可以快速獲得其他任何時間分辨率和空間分辨率的數(shù)據(jù)。
　　(5)編碼實現(xiàn)面向漁場分析的數(shù)據(jù)預處理系統(tǒng),考慮本文在漁場分析和漁業(yè)預測中的實際應用,增加漁業(yè)領(lǐng)域中各種指標數(shù)據(jù)的自動計算功能,如 GSST、CPUE、HIS等,是該系統(tǒng)達到業(yè)務(wù)化應用。最后文章以1995-2007年大眼