基于文本信息檢索的知識(shí)發(fā)現(xiàn)技術(shù)研究.pdf

1、知識(shí)發(fā)現(xiàn)是當(dāng)前一個(gè)極負(fù)挑戰(zhàn)的研究領(lǐng)域.知識(shí)發(fā)現(xiàn)的理論、方法和應(yīng)用的研究為越來(lái)越多的國(guó)內(nèi)外研究者所關(guān)注.文本數(shù)據(jù),是知識(shí)發(fā)現(xiàn)研究的一種重要的數(shù)據(jù)對(duì)象,而文本信息檢索也是知識(shí)發(fā)現(xiàn)的一個(gè)重要的應(yīng)用領(lǐng)域.該文以文本信息檢索為背景,對(duì)文本數(shù)據(jù)的空間索引、快速角分類(lèi)神經(jīng)網(wǎng)絡(luò)以及加權(quán)關(guān)聯(lián)規(guī)則發(fā)現(xiàn)中的頻繁加權(quán)項(xiàng)目集的發(fā)現(xiàn)等知識(shí)發(fā)現(xiàn)領(lǐng)域中的問(wèn)題進(jìn)行了系統(tǒng)的研究.并根據(jù)研究獲得的成果,實(shí)現(xiàn)了一個(gè)新聞信息檢索系統(tǒng).首先,為在文本信息檢索中實(shí)現(xiàn)"快速的檢索與指

2、定的文本信息內(nèi)容接近的信息"的查詢(xún)請(qǐng)求,該文提出以空間索引作為文本信息的表示特征的解決方案.通過(guò)為文本集中的文本信息建立空間索引,"檢索與指定的文本信息內(nèi)容接近的信息"這一檢索請(qǐng)求轉(zhuǎn)換成低維歐氏空間中點(diǎn)與點(diǎn)之間距離的判定.為構(gòu)造文本信息的空間索引,對(duì)空間索引方法進(jìn)行了回顧:首先討論了該問(wèn)題的精確求解算法MDS;然后介紹了該問(wèn)題的快速求解算法FastMap.MDS方法的時(shí)間復(fù)雜度是O(n<'2>),而FastMap建立的數(shù)據(jù)的空間索引具有

3、較高的stress值.閾于MDS和FastMap算法的不足,提出了MDS-NN和FastMap-MDS兩種新型的文本信息的空間索引構(gòu)造方法.由于上述空間索引方法僅基于數(shù)據(jù)之間的距離信息,因此可以很容易應(yīng)用到需要為其它類(lèi)型的多媒體數(shù)據(jù)對(duì)象(如圖像、聲音等)建立空間索引的需求中.其次,為實(shí)現(xiàn)文本信息檢索的個(gè)性化推薦,對(duì)快速角分類(lèi)前向神經(jīng)網(wǎng)絡(luò)進(jìn)行了研究.對(duì)以CC4為代表的角分類(lèi)前向神經(jīng)網(wǎng)絡(luò)的學(xué)習(xí)算法,提出了基于泛化距離的幾何解釋,并對(duì)CC4網(wǎng)

4、絡(luò)的計(jì)算傾向性進(jìn)行了嚴(yán)格的數(shù)學(xué)分析.在上述研究和分析的基礎(chǔ)之上,提出了基于實(shí)數(shù)的L-離散化的角分類(lèi)神經(jīng)網(wǎng)絡(luò)ExtendCC4、混合神經(jīng)元神經(jīng)網(wǎng)絡(luò)RealCC、基于文本信息余弦相似度的角分類(lèi)神經(jīng)網(wǎng)絡(luò)TextCC等三種可以接受實(shí)向量輸入的快速角分類(lèi)神經(jīng)網(wǎng)絡(luò).為使角分類(lèi)神經(jīng)網(wǎng)絡(luò)能夠進(jìn)行數(shù)據(jù)隸屬的多類(lèi)別判定,對(duì)角分類(lèi)神經(jīng)網(wǎng)絡(luò)的隱層與輸出層之間的連接矩陣的學(xué)習(xí)算法進(jìn)行了新的規(guī)定.第三,為了從用戶(hù)的查詢(xún)歷史數(shù)據(jù)中獲得一段時(shí)間內(nèi)用戶(hù)比較穩(wěn)定的查詢(xún)行為

5、,對(duì)加權(quán)關(guān)聯(lián)規(guī)則中的頻繁加權(quán)項(xiàng)目集的快速發(fā)現(xiàn)算法進(jìn)行了研究.為提供更多的決策支持信息,與通常的關(guān)聯(lián)規(guī)則的研究不同,加權(quán)關(guān)聯(lián)規(guī)則研究需要考慮每個(gè)項(xiàng)目和項(xiàng)目集的權(quán)重信息.給出了頻繁加權(quán)項(xiàng)目集的快速發(fā)現(xiàn)算法WeightedFP.實(shí)驗(yàn)顯示,與已有的同類(lèi)算法相比,WeightedFP的效率顯著提高.最后,為了在文本信息檢索中實(shí)現(xiàn)查詢(xún)結(jié)果的個(gè)性化推薦,用戶(hù)焦點(diǎn)被用于用戶(hù)特征的組織.給出了用戶(hù)焦點(diǎn)的形式化描述.頻繁加權(quán)項(xiàng)目集快速發(fā)現(xiàn)算法Weighte