數(shù)字電視中非結構化信息管理研究.pdf

1、隨著數(shù)字電視的普及，數(shù)字電視節(jié)目越來越多，因此如何有效地在大量電視節(jié)目中快速找到用戶喜歡看的節(jié)目成為一個緊迫的研究任務，一種有效的辦法是對文本進行索引。 通常的結構化數(shù)據(jù)庫和全文索引都不適合對數(shù)字電視節(jié)目描述文本作索引。傳統(tǒng)的數(shù)據(jù)庫不適合管理非結構化文本，而通常的全文索引也不適合面向嵌入式的媒體信息管理的需要。因為全文索引中常用的倒排索引模型需要對文本進行分詞，而日文分詞工具（Chasen）空間開銷較大（23M），而且無法抽取表

2、征文本含義的詞，這樣勢必造成對很多無意義的詞作索引，開銷很大。另外，由于數(shù)字電視節(jié)目更新很快，對其管理需要具有較好的動態(tài)性能，而通常國內(nèi)外對索引的動態(tài)更新研究還較少。 本文對文本檢索中的檢索模型、分詞工具和索引的動態(tài)更新策略進行了研究并且提出了一種具有一定特征提取功能并適合嵌入式的日文分詞工具和一種具有良好動態(tài)性能的復合更新策略。本文的主要研究內(nèi)容和成果包括如下： 1.比較研究了文本索引中常用標引技術和檢索模型。

3、 2.根據(jù)適合嵌入式和特征提取的需要，提出了一種規(guī)則結合詞典的分詞方法。 3.在分詞詞典部分，改進了一種三級的結構，在詞表部分采用多個文件存儲不同長度的詞，減小了詞表的開銷，并對該結構的詞典構造和查找算法進行了研究。 4.在文本索引部分，研究了索引的在線更新方法，對合并更新、插入更新和國外最近提出的復合更新等策略在大量數(shù)據(jù)下的性能進行了分析，提出了一種結合插入更新和合并更新優(yōu)點并采用多級結構的改進復合更新策略。并使用磁盤