基于遺傳算法的中文多文檔自動摘要方法研究

1、基于遺傳算法的中文多文檔自動摘要方法研究基于遺傳算法的中文多文檔自動摘要方法研究2預(yù)處理文本預(yù)處理模塊的主要任務(wù)是對文檔進行章節(jié)、段落、句子等劃分，主要以標點符號為劃分依據(jù)。符號對于語法或者語義的影響可能比較大，但是對于文本預(yù)處理而言，符號就是句子間隔，將輸入的原文本按照其所屬章節(jié)、段落和句子等信息進行標記。另外摘要句的句式多為陳述句，象感嘆句、疑問句等特殊句式一般不直接表達文章的中心主旨，考慮這些因素，因此在文檔預(yù)處理分析時，不對該類

2、句式進行處理。在進行文檔劃分時，還應(yīng)該考慮到全角半角標點標號的區(qū)別，為保證文本標識的準確性，還要處理文本的各種標點符號，識別文本的結(jié)構(gòu)，最終達到以句子為單位對文本進行分隔的目的。預(yù)處理主要包括兩個部分：結(jié)構(gòu)預(yù)處理和統(tǒng)計兩部分。3句子分類分類模塊：將文檔簇中描述同類問題的句子進行歸類。即對文檔簇進行句子聚類。句子聚類：本文選擇Kmeans均值聚類。選擇原因，由于其效率高，它的計算復(fù)雜度為O(nkt)，其中n為樣本點的個數(shù)，k為類的個數(shù)，t

3、為循環(huán)次數(shù)。應(yīng)用Kmeans均值聚類需先定義兩個句子間的距離。兩個句子的距離可定義為：，其中SIM(AB)為句子A和句子B之間的相似度。聚類算法：的種群，如此反復(fù)進行，直至滿足一定的終止條件為止?；虻木幋a方式：采用十進制不定長編碼。每一個代碼表示一個句子，一組編碼表示一個摘要。編碼的長度不能太長，也不能太短，長度的范圍為用戶要求句子數(shù)的0.5倍至1.5倍。選擇方法：采用輪盤式選擇：這種選擇策略在遺傳算法中使用的最多，它也是先計算個體的

4、相對適應(yīng)值記為Pi然后根據(jù)選擇概率把圓盤分成N份，其中第i扇形的中心角為。在進行選擇時，可以假想轉(zhuǎn)動一下圓盤，若某參照點落入第i個扇形內(nèi)，則選擇個體i。這種選擇策略可以如下實現(xiàn)：先生成一個[0，1]內(nèi)的隨機數(shù)r，若則選擇個體i。易見，這種選擇方式非常類似輪盤賭中的轉(zhuǎn)盤。小扇區(qū)的面積越大，色子落入其中的概率也越大，即個體的適應(yīng)值越大，它被選擇到的機會也越多。從而，其基因結(jié)構(gòu)被遺傳到下一代的可能性也越大。交叉策略：采用單點雜交。即隨機選擇兩