文本中知識的獲取.pdf

1、人類通過文字來描述世界、表達思想，文本是人類智慧傳承的重要媒介。隨著知識經(jīng)濟時代的到來，文檔知識管理在學(xué)術(shù)界和企業(yè)界引起了廣泛關(guān)注。但是文檔知識管理系統(tǒng)面臨著幾個重要問題：如何識別文檔主題，如何識別文檔中心詞；如何對用戶所關(guān)心的內(nèi)容進行個性化的關(guān)鍵性提示；如何精確返回用戶希望得到信息。關(guān)鍵詞獲取技術(shù)和信息抽取技術(shù)是文本處理中的重要技術(shù)，可以在一定程度上解決上述問題。本文對基于語義詞典的單文本關(guān)鍵詞獲取技術(shù)，信息抽取技術(shù)中的規(guī)則生成機制進

2、行了研究，主要的研究工作和研究成果包括： 1)基于語義網(wǎng)絡(luò)與UW-PageRank算法的詞義消歧提出了基于語義網(wǎng)絡(luò)和UW-PageRank結(jié)合的知識詞義消歧算法，能夠?qū)ξ臋n中出現(xiàn)的任何詞語(同時包含在知識庫內(nèi))進行實時消歧處理，不需要語料庫，無須訓(xùn)練。 針對中文文本，以HowNet為語義知識庫，以義原為節(jié)點，義原間的相關(guān)性為邊的權(quán)重構(gòu)造無向賦權(quán)網(wǎng)絡(luò)，表達文本內(nèi)容。使用UW-PageRank算法評價義原的權(quán)重，進而計算義項

3、的權(quán)重；對每一個詞語來說，權(quán)重最高的義項即為其含義。分別采用全文標注試驗與SENSEVAL-3評測集對算法進行了評價。 針對英文文本，以WordNet為語義知識庫，以Synset為節(jié)點，Synset間的相關(guān)性為邊的權(quán)重構(gòu)造無向賦權(quán)網(wǎng)絡(luò)，表達文本內(nèi)容；使用UW-PageRank算法評價Synset的權(quán)重；根據(jù)Synset的權(quán)重并結(jié)合共指詞義現(xiàn)象、詞義常用性等因素進行詞義消歧。在SemCor數(shù)據(jù)集對算法進行了評測。 2)基于

4、語義網(wǎng)絡(luò)與UW-PageRank算法的關(guān)鍵詞抽取提出了基于語義網(wǎng)絡(luò)與UW-PageRank算法的單文本關(guān)鍵詞抽取算法。在詞義消歧的基礎(chǔ)上，文本中的所有詞語都具有確定的詞義，對語義網(wǎng)絡(luò)進行剪裁，去掉詞語的其他義項，此時語義網(wǎng)絡(luò)中的節(jié)點即為該詞在文本中的義項，然后使用UW-PageRank公式挖掘出重要的詞義，其對應(yīng)的詞語即為文本關(guān)鍵詞。 在對中英文科技論文的手工標注數(shù)據(jù)集上，與Tf方法進行比較，結(jié)果表明了算法的有效性。 3

5、)啟發(fā)式的漢語信息抽取規(guī)則生成算法——RGA-CIE提出了一種啟發(fā)式的漢語信息抽取系統(tǒng)的規(guī)則生成算法——RGA-CIE(RuleGeneration Algorithm for Chinese Information Extraction)。采用有監(jiān)督的自底向上規(guī)則學(xué)習過程，能夠根據(jù)中文的特點進行啟發(fā)式的逐步泛化，同時采用Laplacian*算子作為評價生成規(guī)則的效果。Laplacian*算子能夠很好的平抑覆蓋率與準確率的矛盾；采用語義