基于Web目錄的輕量級本體自動生成.pdf

1、本體,語義網(wǎng)的基石,是描述網(wǎng)絡(luò)資源的詞匯表和知識庫。輕量級本體,作為本體家族中一個嶄新的分支,繼承了“目錄”之一古老的信息組織方式簡單有效的特點,正引起業(yè)界越來越多的注意。對于傳統(tǒng)本體而言,本體的構(gòu)建是一件枯燥而耗費人力的工作。然而傳統(tǒng)本體本身的復(fù)雜性,又使得自動生成本體的嘗試鮮有收獲。幸運的是,隨著輕量級本體的提出和發(fā)展,高質(zhì)量的本體自動生又重新被提上日程。本文旨在探索如何利用自然語言處理技術(shù),從現(xiàn)有的Web目錄(如Dmoz[1],Y

2、ahooDirectory[2]等)中自動生成輕量級本體。整個生成過程可以概括為,抹平輕量級本體與傳統(tǒng)“目錄”的差異,即進(jìn)行形式化轉(zhuǎn)換以及各個層次上的二義性消除。具體來說,輕量級本體的自動生成可分為四個步驟:第一步是目錄標(biāo)簽級命名實體檢測,以便找出那些自身為原子概念的命名實體標(biāo)簽。文中提出了基于最大熵分類和基于Web知識兩種方法,其中基于Web知識的方法利用標(biāo)簽在Web語料中出現(xiàn)是的大小寫信息來判斷標(biāo)簽是否為命名實體。實現(xiàn)簡單且效果良好

3、,在實驗中取得94.76％的F值,高于最大熵分類的F值93.75％。第二步是目錄標(biāo)簽的詞性標(biāo)注。由于目錄標(biāo)簽中只存在名詞和形容詞,文中使用了條件隨機(jī)場訓(xùn)練二值(名詞/形容詞)詞性標(biāo)記模型來實現(xiàn)。在實驗中獲得單詞級準(zhǔn)確率98.56％,標(biāo)簽級準(zhǔn)確率97.15％,遠(yuǎn)高于直接使用OpenNLP[4]工具進(jìn)行詞性標(biāo)注和基線系統(tǒng)。第三步是目錄標(biāo)簽的詞義消歧,這一步是整個系統(tǒng)的瓶頸所在。文中提出了一種新穎的基于Web知識的詞義消歧方法。該方法將待消歧

4、詞的上下文及候選詞義通過Web搜索引擎轉(zhuǎn)化為向量表示,再根據(jù)候選詞義與待消歧詞上下文向量相似度及候選詞義的先驗概率兩個因素的線性組合對候選詞義打分,從而得到消歧結(jié)果。在實驗中,我們得到了單詞級83.70％的消歧準(zhǔn)確率。雖然考慮語料不同所帶來的性能差異,但這一準(zhǔn)確率已經(jīng)遠(yuǎn)遠(yuǎn)高于現(xiàn)有在普通文本上的最好消歧性能(根據(jù)Senseval-3[3],最好的英文全單詞細(xì)粒度消歧準(zhǔn)確率為65％)。第四步為目錄標(biāo)簽的形式化表示——DL表達(dá)式的組裝。文中提

5、出了基于依賴語法分析與基于簡單規(guī)則的兩種方法。實驗結(jié)果表明,該步驟較為簡單,兩種方法都取得了十分高的準(zhǔn)確率。而基于簡單規(guī)則的方法要略勝一籌,其準(zhǔn)確率達(dá)到99.48％。最后,我們將四個步驟聯(lián)合起來測得系統(tǒng)整體的轉(zhuǎn)化準(zhǔn)確率為78.25％,考慮到詞義消歧的困難性,我們認(rèn)為這一結(jié)果是可接受的。在描述了輕量級本體的生成方法之后,本文還介紹了如何應(yīng)用輕量級本體,提高信息檢索質(zhì)量及用戶體驗。尤其描述了輕量級本體如何在混合語義檢索中改善用戶體驗,幫助用