技術(shù)文章個性化推薦系統(tǒng)設(shè)計與實現(xiàn).pdf

1、高速發(fā)展和快速普及的互聯(lián)網(wǎng)已成為信息傳播和資訊獲取的主要途徑之一。網(wǎng)絡(luò)上的數(shù)據(jù)伴隨著大數(shù)據(jù)時代的到來而迅速膨脹，用戶面對互聯(lián)網(wǎng)上的海量信息需要花費更大的成本去獲取有價值信息。個性化推薦技術(shù)就是用來解決信息過載問題的。
　　近來，隨著門戶網(wǎng)站和各領(lǐng)域資訊類網(wǎng)站的不斷涌現(xiàn)，網(wǎng)絡(luò)閱讀逐漸成為互聯(lián)網(wǎng)最熱門的需求之一，也同樣需要使用個性化推薦技術(shù)，由此催生了個性化閱讀應(yīng)用市場。
　　大多數(shù)基于內(nèi)容的推薦系統(tǒng)使用相對簡單的向量空間模型，

2、但這種方案不能解決“一詞多義”、“多詞一義”的問題。為解決向量空間模型的不足，本文將主題模型應(yīng)用到個性化閱讀推薦和文本分類中，設(shè)計并實現(xiàn)了面向開發(fā)者的技術(shù)文章個性化推薦系統(tǒng)，解決了開發(fā)者的個性化閱讀需求，具有很好的應(yīng)用前景和商業(yè)價值。
　　本文的主要工作有:
　　1.面向技術(shù)文章的網(wǎng)頁爬蟲和數(shù)據(jù)預(yù)處理
　　為了獲取推薦對象，先使用WebMagic爬蟲框架實現(xiàn)一個單機多線程的爬蟲，將技術(shù)網(wǎng)站上的文章下載到文件服務(wù)器和數(shù)據(jù)

3、庫中，然后使用HTML解析器、XPath、CSS選擇器等技術(shù)對網(wǎng)頁的正文部分進行抽取，并清洗掉正文里的無關(guān)項元素，最后使用FNLP自然語言處理工具包對正文部分進行文本處理，包括分詞、詞性標注和去停用詞等。
　　2.基于用戶興趣的個性化推薦和基于文章主題的相似推薦
　　本文實現(xiàn)基于用戶興趣的個性化推薦，用于向用戶推薦其可能感興趣的技術(shù)文章。(1)尋找最優(yōu)主題數(shù);(2)對預(yù)處理后的技術(shù)文章建立LDA模型，使用主題對技術(shù)文章進行特

4、征表示;(3)根據(jù)用戶的歷史行為數(shù)據(jù)，使用邏輯斯蒂回歸為每個用戶構(gòu)建用戶興趣模型;(4)使用訓(xùn)練好的LDA模型推斷新的技術(shù)文章的主題分布;(5)使用技術(shù)文章的主題分布和用戶興趣模型進行個性化計算，生成用戶的個性化推薦列表。通過與基于向量空間模型和TF-IDF相結(jié)合的推薦方法做對比實驗，驗證基于LDA模型的推薦方法具有更好的推薦效果。
　　本文實現(xiàn)基于文章主題的相似推薦，用于向用戶推薦在主題層面上相似的技術(shù)文章。通過使用Hellin

5、ger距離作為相似性度量，取Top-3的技術(shù)文章作為目標文章的相似文章。
　　3.按技術(shù)文章的類別瀏覽
　　為了在系統(tǒng)中實現(xiàn)按照類別來瀏覽文章功能，本文需要預(yù)測文章的技術(shù)類別。(1)將LDA模型中的所有主題下的Top-N個詞項取出，合并成一個特征詞典;(2)對訓(xùn)練數(shù)據(jù)進行文本預(yù)處理，然后統(tǒng)計所有詞項的信息，并計算所有詞項的TF-IDF值;(3)檢查每個文檔的所有詞項，將包含在特征詞典中的詞項作為特征項，使用TF-IDF值作為

6、特征項的特征權(quán)重，將文檔映射為一個特征向量，對所有特征向量進行歸一化處理后，得到一個訓(xùn)練集;(3)使用LIBSVM提供的腳本尋找最優(yōu)的參數(shù)，然后訓(xùn)練支持向量機分類器;(4)使用支持向量機分類器對未知類別的技術(shù)文章進行類別預(yù)測。
　　通過與其他三種常用的特征選擇方法做對比實驗，驗證本文的文本分類方案具有更好的分類效果。
　　4.Web交互系統(tǒng)
　　設(shè)計并實現(xiàn)了一個與用戶進行交互的Web網(wǎng)站原型，用戶通過該網(wǎng)站可以瀏覽推薦