基于新浪微博的冰雹實況信息提取方法研究.pdf

1、基于新浪微博的冰雹實況信息提取方法研究Researchofhailinf0rmationextractionbasedonSinaWeibo學(xué)科專業(yè)研究生指導(dǎo)教師企業(yè)導(dǎo)師控制工程王賀穎王萍教授賈惠珍高工天津大學(xué)電氣與自動化工程學(xué)院二零一五年十二月一夸一血年_r一月摘要冰雹作為一種強破壞性天氣，給人們帶來巨大的創(chuàng)害，所以冰雹的研究關(guān)系重大。目前已有冰雹識別預(yù)測的研究，但預(yù)測結(jié)果的準(zhǔn)確與否需要實際冰雹發(fā)生事件來驗證。但是傳統(tǒng)的這實際的冰雹實

2、況信息都是單純的依靠專門的氣象人員，而這種方法存在時間和地域的局限性。為更加方便快捷地搜集冰雹實況信息，我們將目光轉(zhuǎn)移到現(xiàn)代互聯(lián)網(wǎng)。其中，新浪微博時全國用戶使用量最大、活躍度最高的微博平臺。加之作為一種罕見極端天氣，人們傾向于在微博上發(fā)表冰雹天氣的相關(guān)信息，于是我們選擇從新浪微博搜集所需信息。目前有許多關(guān)于新浪微博數(shù)據(jù)采集的方法，總結(jié)來看這些方法有：基于第三方軟件或者第三方微博數(shù)據(jù)集的方法、基于新浪公開API的方法和網(wǎng)絡(luò)爬蟲抓取的方法。

3、鑒于本課題需要用到新浪微博的高級搜索接口，而新浪又無該接口的公開獲取途徑，最后采用網(wǎng)絡(luò)爬蟲技術(shù)抓取設(shè)定搜索條件的頁面，進(jìn)而抓取含有“冰雹“這一關(guān)鍵字的微博數(shù)據(jù)。采集到的微博數(shù)據(jù)并非都是描述冰雹發(fā)生信息的數(shù)據(jù)，根據(jù)觀察，一部分?jǐn)?shù)據(jù)是描述冰雹發(fā)生事件，一部分是天氣預(yù)報信息可能發(fā)生冰雹天氣，其他則是不含有冰雹發(fā)生事件的數(shù)據(jù)，為從這些數(shù)據(jù)中獲得冰雹實際放生的數(shù)據(jù)，為將實際含有冰雹實況的數(shù)據(jù)識別出來，本文采用文本分類技術(shù)。文本分類之前采用人工標(biāo)注

4、的方法構(gòu)建了三類數(shù)據(jù)的樣本空間。其中文本分類的關(guān)鍵在于文本特征的提取，本文對目前文本特征主要的幾種方法進(jìn)行了說明并在其基礎(chǔ)上進(jìn)行調(diào)整，最后將各種方法綜合起來使用，通過實驗驗證了綜合使用的結(jié)果比使用單一方法更好。之后對傳統(tǒng)單純的詞語特征擴展，將詞組也作為文本分類的特征。本文采用貝葉斯，K近鄰，和支持向量機三種分類器，給出了基于3分類器的組合分類方案。測試結(jié)果表明，本文方法能夠?qū)㈦[含在新浪微博中的降雹事件的895％提取出來，誤識信息低于13