Web觀點(diǎn)挖掘系統(tǒng)的關(guān)鍵技術(shù)研究.pdf

1、隨著互聯(lián)網(wǎng)的迅速發(fā)展和普及，互聯(lián)網(wǎng)已成為人們獲取信息的重要渠道；同時(shí)，它也成為人們表達(dá)自己觀點(diǎn)、看法、情感的平臺(tái)。因此，在各大電子商務(wù)網(wǎng)站、電子公告板以及門戶網(wǎng)站上出現(xiàn)了大量的有關(guān)各種商品的評(píng)論信息。商家和廠家的決策者需要了解顧客使用他們商品情況的反饋意見(jiàn)，潛在的購(gòu)買者也需要根據(jù)別人的使用體驗(yàn)來(lái)作出是否購(gòu)買該商品的決定。對(duì)于商品生產(chǎn)廠家和潛在的商品購(gòu)買者而言，面對(duì)網(wǎng)絡(luò)上如此大量、復(fù)雜的評(píng)論信息，如何迅速有效地獲取自己感興趣的商品評(píng)論的總

2、體觀點(diǎn)極性傾向(正面的還是負(fù)面的)就成為了一個(gè)新的問(wèn)題。觀點(diǎn)挖掘技術(shù)的出現(xiàn)，正是為了解決這個(gè)問(wèn)題。它融合了信息檢索、信息抽取、文本分類、機(jī)器學(xué)習(xí)、自然語(yǔ)言處理、本體論等眾多技術(shù)，具有一定的文本理解能力，更具有一定的智能性。
　　 近年來(lái)觀點(diǎn)挖掘技術(shù)的研究十分活躍，由于觀點(diǎn)挖掘涉及到大量的理論技術(shù)，本文只對(duì)觀點(diǎn)挖掘系統(tǒng)中的幾個(gè)關(guān)鍵方面進(jìn)行了深入的研究，并嘗試構(gòu)建了一個(gè)觀點(diǎn)挖掘系統(tǒng)(OMS)框架，主要的研究工作如下：
　　

3、1)根據(jù)PageRank算法的思想，結(jié)合基于文本內(nèi)容的啟發(fā)式方法和基于Web超鏈分析的方法二者之間的優(yōu)點(diǎn)，提出一種新的爬行方法，為我們的觀點(diǎn)搜索系統(tǒng)專門設(shè)計(jì)了分布式的、改進(jìn)的聚焦網(wǎng)絡(luò)爬蟲(chóng)算法，并實(shí)現(xiàn)了這個(gè)高效的分布式的聚焦爬蟲(chóng)子系統(tǒng)。
　　 2)基于最大熵和支持向量機(jī)的方法進(jìn)行評(píng)論的高質(zhì)量與低質(zhì)量分類研究，過(guò)濾掉大量低質(zhì)量的商品評(píng)論，從而保證觀點(diǎn)搜索系統(tǒng)能夠給出高質(zhì)量的查詢結(jié)果。
　　 3)利用《知網(wǎng)》構(gòu)造具有主觀性詞的