大規(guī)模詞對抽取系統(tǒng)研究.pdf

1、隨著互聯(lián)網(wǎng)和通訊產(chǎn)業(yè)的快速發(fā)展，各種形式的信息撲面而來。而短文本（通常文本長度小于160字符）作為手機(jī)短信息、在線即時(shí)聊天記錄、論壇用戶評論等信息的主要表現(xiàn)形式，已經(jīng)成為網(wǎng)絡(luò)中大眾信息傳播的重要渠道。短文本分類技術(shù)，它是基于內(nèi)容分析將短文本分派到預(yù)先定義的類別中，在信息安全和商業(yè)信息獲取等領(lǐng)域具有重要的應(yīng)用前景。
　　 由于短文本具有長度短、所描述概念信號弱的固有缺陷，使得當(dāng)前主流文本分類技術(shù)用于短文本時(shí)，分類器性能變壞。解決上

2、述問題的一種可行性途徑是利用外部資源的額外信息來擴(kuò)展短文本所描述的信息量。鑒于此，本文利用詞對抽取理論，從短文本訓(xùn)練語料集中挖掘出具有上下位關(guān)系、角色關(guān)系的詞對，用于對短文本進(jìn)行特征擴(kuò)展，以彌補(bǔ)其概念信號弱的固有缺陷，進(jìn)而將其分類成屬于某個(gè)種類還是不屬于某個(gè)種類。本文的核心和貢獻(xiàn)在于:
　　 (1)設(shè)計(jì)并實(shí)現(xiàn)一個(gè)大規(guī)模詞對抽取系統(tǒng)。選擇詞對抽取理論作為挖掘工具，用來發(fā)現(xiàn)隱藏在短文本訓(xùn)練語料集中具有上下位關(guān)系、角色關(guān)系的詞對，以便

3、輔助短文本分類。
　　 (2)考察組合上下位關(guān)系、角色關(guān)系的方法對短文本分類的影響。利用組合方法獲取短文本訓(xùn)練語料集中存在上下位關(guān)系、角色關(guān)系的詞對，再利用關(guān)系詞對集合擴(kuò)展短文本測試語料集的特征向量，進(jìn)而將擴(kuò)展的測試集進(jìn)行文本分類。
　　 (3)設(shè)計(jì)并實(shí)現(xiàn)一種面向大規(guī)模詞對集合的高效存儲結(jié)構(gòu)，改善詞對抽取和短文本分類的效率。由于需要處理的詞對規(guī)模較大，傳統(tǒng)的B+樹只能加載部分到內(nèi)存，這導(dǎo)致一次查詢操作可能產(chǎn)生多次磁盤隨機(jī)