基于內(nèi)容的文本分割關(guān)鍵技術(shù).pdf

1、一般而言,稍長的文本往往都會涉及幾個主題或同一主題的多個方面,如果能夠自動劃分出文本的這種語義結(jié)構(gòu),將語義段落作為基本處理單元,則會極大的改善傳統(tǒng)文本處理技術(shù)以篇章作為基本處理單元的現(xiàn)象,對文本的分析可以從原來的篇章級別細致到語義段落級別。文本分割技術(shù)能夠?qū)⒁黄谋景凑照Z義關(guān)系自動識別為具有獨立意義的若干個語義段落,并用標記將其區(qū)分以備深層分析之用。
　　 文本的內(nèi)容是由詞組成的,而詞又要放到文本中去理解,詞與文本之間是相互制約

2、的。文本為了描述同一核心主題,而頻繁的出現(xiàn)相同或相似的詞匯,這種詞匯集聚現(xiàn)象直觀的反映了主題的相似性。人們閱讀時也往往通過重復出現(xiàn)的詞匯了解文本內(nèi)容。這里所說的詞匯重復也包括詞匯的語義重復。本論文通過分析文本分割領(lǐng)域著名的模型來總結(jié)基于內(nèi)容的文本分割模型的設計理念。
　　 文本分割的本質(zhì)是根據(jù)主題相似性線索在文本內(nèi)部找到主題與主題之間的邊界位置,使得同一語義段落內(nèi)部具有最大的主題相似性,而不同語義段落之間具有最小的主題相似性。因

3、此,一個文本分割模型要解決的最根本問題就是主題相似性度量和邊界搜索策略。本文提出了綜合考慮文本相似度,區(qū)域相似度、語義段落長度、基于句對距離的相似度加權(quán)策略等多種線索來刻畫主題相似性,在此基礎(chǔ)上選擇合適的邊界搜索策略,獲得性能上的優(yōu)勢。
　　 本文通過研究文本分割領(lǐng)域著名模型,針對其存在的問題,提出自己的解決方案。基于全局的文本相似性,用Dotplotting搜索策略每次分割出一個主題邊界,本文提出了MMD模型;基于局部的區(qū)域相