基于N元分析與詞頻統(tǒng)計的文本復合標引研究.pdf

1、科學技術的發(fā)展已將人類帶入智能化的信息社會，使得信息成為重要的資源，但隨之也帶來了信息資源的爆炸性增長和無限擴張。面對龐大的信息資源，信息處理成為信息利用的關鍵所在，而根據(jù)原文信息內(nèi)容產(chǎn)生簡明準確的信息標引，是信息處理的一項重要工作。自動標引質(zhì)量的好壞在一定程度上決定了信息處理效果的優(yōu)劣，也必然影響信息利用價值的大小。在這種背景下，改進和提高自動標引方法，低成本高效率的實現(xiàn)信息標引顯得至關重要。
　　 因此，本文圍繞自動標引技術

2、和方法，以文本信息的自動標引作為研究對象，采用比較分析法與實驗分析法相結(jié)合，提出了基于N元分析與詞頻統(tǒng)計的文本復合標引這一新型標引方法，本文主體內(nèi)容如下：
　　 首先，本文從文本和自動標引切入，對自動標引進行了系統(tǒng)的回顧與總結(jié)，重點從自動標引基本理論的宏觀劃分、自動標引發(fā)展過程中的代表性方法及自動標引研究路線圖三方面進行論述，繼而指出自動標引發(fā)展中存在的問題和可能的解決途徑，引出復合標引的這一研究主題。
　　 其次，從理

3、論、方法及實現(xiàn)過程對詞頻統(tǒng)汁標引和N-gram標引兩種方法進行較為全面系統(tǒng)的分析與比較，闡述了兩種方法在本質(zhì)上的一致性和方法過程上的互補性，同時，通過引入統(tǒng)計學領域中的條件概率和信息論領域中的信息熵這兩個工具，將N元分析和詞頻統(tǒng)計有效的復合為一體，提出了兼具二者優(yōu)勢的基于N元分析與詞頻統(tǒng)計的文本復合標引方法。
　　 最后，本文采用實驗分析法，通過對比試驗，從實踐的角度論證了本文提出的文本復合標引方法在理論方面的正確性以及在標引應