基于遺傳算法的中文多文檔自動(dòng)摘要方法研究

1、基于遺傳算法的中文多文檔自動(dòng)摘要方法研究基于遺傳算法的中文多文檔自動(dòng)摘要方法研究2預(yù)處理文本預(yù)處理模塊的主要任務(wù)是對(duì)文檔進(jìn)行章節(jié)、段落、句子等劃分，主要以標(biāo)點(diǎn)符號(hào)為劃分依據(jù)。符號(hào)對(duì)于語法或者語義的影響可能比較大，但是對(duì)于文本預(yù)處理而言，符號(hào)就是句子間隔，將輸入的原文本按照其所屬章節(jié)、段落和句子等信息進(jìn)行標(biāo)記。另外摘要句的句式多為陳述句，象感嘆句、疑問句等特殊句式一般不直接表達(dá)文章的中心主旨，考慮這些因素，因此在文檔預(yù)處理分析時(shí)，不對(duì)該類

2、句式進(jìn)行處理。在進(jìn)行文檔劃分時(shí)，還應(yīng)該考慮到全角半角標(biāo)點(diǎn)標(biāo)號(hào)的區(qū)別，為保證文本標(biāo)識(shí)的準(zhǔn)確性，還要處理文本的各種標(biāo)點(diǎn)符號(hào)，識(shí)別文本的結(jié)構(gòu)，最終達(dá)到以句子為單位對(duì)文本進(jìn)行分隔的目的。預(yù)處理主要包括兩個(gè)部分：結(jié)構(gòu)預(yù)處理和統(tǒng)計(jì)兩部分。3句子分類分類模塊：將文檔簇中描述同類問題的句子進(jìn)行歸類。即對(duì)文檔簇進(jìn)行句子聚類。句子聚類：本文選擇Kmeans均值聚類。選擇原因，由于其效率高，它的計(jì)算復(fù)雜度為O(nkt)，其中n為樣本點(diǎn)的個(gè)數(shù)，k為類的個(gè)數(shù)，t

3、為循環(huán)次數(shù)。應(yīng)用Kmeans均值聚類需先定義兩個(gè)句子間的距離。兩個(gè)句子的距離可定義為：，其中SIM(AB)為句子A和句子B之間的相似度。聚類算法：的種群，如此反復(fù)進(jìn)行，直至滿足一定的終止條件為止。基因的編碼方式：采用十進(jìn)制不定長(zhǎng)編碼。每一個(gè)代碼表示一個(gè)句子，一組編碼表示一個(gè)摘要。編碼的長(zhǎng)度不能太長(zhǎng)，也不能太短，長(zhǎng)度的范圍為用戶要求句子數(shù)的0.5倍至1.5倍。選擇方法：采用輪盤式選擇：這種選擇策略在遺傳算法中使用的最多，它也是先計(jì)算個(gè)體的

4、相對(duì)適應(yīng)值記為Pi然后根據(jù)選擇概率把圓盤分成N份，其中第i扇形的中心角為。在進(jìn)行選擇時(shí)，可以假想轉(zhuǎn)動(dòng)一下圓盤，若某參照點(diǎn)落入第i個(gè)扇形內(nèi)，則選擇個(gè)體i。這種選擇策略可以如下實(shí)現(xiàn)：先生成一個(gè)[0，1]內(nèi)的隨機(jī)數(shù)r，若則選擇個(gè)體i。易見，這種選擇方式非常類似輪盤賭中的轉(zhuǎn)盤。小扇區(qū)的面積越大，色子落入其中的概率也越大，即個(gè)體的適應(yīng)值越大，它被選擇到的機(jī)會(huì)也越多。從而，其基因結(jié)構(gòu)被遺傳到下一代的可能性也越大。交叉策略：采用單點(diǎn)雜交。即隨機(jī)選擇兩