Web數(shù)據(jù)集成中有價值事件識別研究.pdf

1、隨著互聯(lián)網(wǎng)技術(shù)的飛速發(fā)展，Web成為巨大的信息源，擁有海量數(shù)據(jù)，同時Web具有開放性、交互性、便捷性的特點，已成為人們獲取信息的重要平臺。如何準(zhǔn)確、有效地從Web中獲取所需信息，對信息進(jìn)一步分析和挖掘，對諸如市場情報分析、商業(yè)智能等分析型應(yīng)用尤為重要。
　　相對于傳統(tǒng)數(shù)據(jù)集成中結(jié)構(gòu)化數(shù)據(jù)，Web網(wǎng)頁包含大量無結(jié)構(gòu)數(shù)據(jù)，其中在特定時間、地點發(fā)生，由特定參與者參加的活動語句稱為事件。識別網(wǎng)頁中有價值事件，即識別出分散在大量網(wǎng)頁中的事件

2、信息并關(guān)聯(lián)事件的價值數(shù)據(jù)，為市場情報分析等應(yīng)用提供數(shù)據(jù)支持。
　　Web網(wǎng)頁的新聞報道中蘊含大量事件，為用戶提供及時、廣泛的信息，但報道這些事件的描述語句陳述角度各異，表達(dá)方式隨意，難以識別是否指向同一事件。網(wǎng)頁報道中對同一事件的不同描述語句稱為事件表象。在Web大量網(wǎng)頁中，通過聚合事件表象發(fā)現(xiàn)其共同所指的事件，利用共指同一事件的表象間互相印證和補充的信息對事件有一個較全面、準(zhǔn)確的認(rèn)識。另外，分析事件主題，集成事件主題熱度信息，從

3、不同層面識別有價值事件。識別出的有價值事件，數(shù)據(jù)較豐富和準(zhǔn)確，而且集成了事件主題等不同層面的價值信息，可以為市場情報分析等應(yīng)用提供支持，也是進(jìn)一步進(jìn)行數(shù)據(jù)分析和挖掘的基礎(chǔ)。
　　Web有價值事件識別已經(jīng)成為當(dāng)前的熱點研究問題之一，由于Web事件具有海量、無結(jié)構(gòu)、描述隨意和聯(lián)系豐富等特點，有價值事件識別不僅進(jìn)行Web事件發(fā)現(xiàn)，還要集成事件價值信息，研究中仍然存在以下問題有待解決。(1)同一事件網(wǎng)絡(luò)中有不同的新聞報道，報道該事件的事件

4、表象語句因描述角度不同，存在較大差異。這些事件表象分布于大量網(wǎng)頁中，如何從網(wǎng)頁中快速、準(zhǔn)確的發(fā)現(xiàn)重復(fù)事件表象，聚合指向同一事件的表象，是需要研究的問題;(2)事件表象從不同角度描述事件，如何充分利用表象間相互印證和補充信息，將形式各異的共指事件表象統(tǒng)一成一條表象，保證合并后的事件表象具有較準(zhǔn)確和豐富的數(shù)據(jù)，是需要解決的問題;(3)Web不同事件可以擁有共同主題，如何準(zhǔn)確發(fā)現(xiàn)不同事件的主題，分析主題詞熱度，從主題層面識別有價值事件，是需要

5、解決的問題。
　　本文以Web數(shù)據(jù)集成為目標(biāo)，針對Web有價值事件識別中存在的以上問題展開研究，本文的貢獻(xiàn)主要包括以下三個方面:
　　(1)提出一種基于維度匹配和共現(xiàn)約束的重復(fù)事件表象發(fā)現(xiàn)方法。使用事件的8維度表示形式，提出使用網(wǎng)頁事件表象共現(xiàn)約束減少事件表象的匹配次數(shù)，能夠準(zhǔn)確、高效的發(fā)現(xiàn)網(wǎng)頁中重復(fù)事件表象。
　　本文提出一種基于維度匹配和共現(xiàn)約束的重復(fù)事件表象發(fā)現(xiàn)方法，事件使用{agent，activity,obj

6、ect，time，location，cause，purpose，manner}8個維度表示，賦予事件一定的結(jié)構(gòu)特性。針對不同維度內(nèi)容使用不同匹配器分別匹配，使用擴展證據(jù)理論模型綜合維度匹配結(jié)果。針對大規(guī)模網(wǎng)頁重復(fù)事件表象的發(fā)現(xiàn)，提出網(wǎng)頁事件表象共現(xiàn)約束，減少網(wǎng)頁間事件表象匹配次數(shù)。實驗結(jié)果表明，該方法能夠準(zhǔn)確聚合大量共指同一事件的重復(fù)事件表象，并且減少事件表象間匹配次數(shù)，有效降低了網(wǎng)頁重復(fù)事件表象發(fā)現(xiàn)的時間，提高了重復(fù)事件表象發(fā)現(xiàn)的效率

7、。
　　(2)針對指向同一事件的Web事件表象形式多樣，提出一種通過維度內(nèi)容重組的事件表象統(tǒng)一方法，選取大量重復(fù)事件表象中較準(zhǔn)確和詳細(xì)的維度內(nèi)容并組合到一條事件表象中，反映現(xiàn)實事件。
　　本文提出一種通過維度內(nèi)容重組的事件表象統(tǒng)一方法，提出使用Markov邏輯網(wǎng)結(jié)合多種一階邏輯規(guī)則綜合判斷，選擇事件表象中較完整、準(zhǔn)確的維度內(nèi)容。組合分散在多個事件表象中較準(zhǔn)確詳細(xì)的維度內(nèi)容到一條事件表象中。實驗結(jié)果表明，該方法能夠有效選擇較完

8、整、準(zhǔn)確的維度內(nèi)容，事件表象統(tǒng)一有較高的準(zhǔn)確率。
　　(3)針對不同事件可以擁有共同主題，提出一種基于主題特征聚類和擴展LDA模型的事件主題分析方法。分析事件的主題詞和主題詞熱度，從主題層面識別有價值事件。
　　本文提出一種擴展LDA模型DLDA，在LDA模型中集成事件的維度信息，避免在主題無關(guān)的事件維度上分配主題概率（如時間、地點等維度內(nèi)容），選取主題特征維度。根據(jù)選取的主題特征維度內(nèi)容聚類，準(zhǔn)確識別事件主題。提出一種主題