新浪微博的數據采集和推薦方案研究.pdf

1、新浪微博作為一種新型的社交應用平臺，經過多年的發(fā)展，已經成為社交應用的主流。隨著“信息爆炸”時代的到來，人們不可能關注所有的微博信息，推薦系統可以發(fā)現用戶興趣，針對用戶進行個性化推薦。傳統的微博推薦系統主要從社交網絡的拓撲結構和用戶注冊信息的方向來考慮，生成相應推薦結果。通常這樣給出的結果與用戶的興趣相似度不高。
　　本文主要從用戶興趣的角度出發(fā)，分析用戶自身發(fā)表過的所有微博記錄來預測用戶興趣，并給出推薦結果。這樣的推薦結果用戶針

2、對性更強，更加能滿足用戶興趣需求。
　　本文對微博推薦系統的實現過程進行了深入的研究，核心的工作主要分為三個部分:
　　第一部分是新浪微博的數據采集:通過新浪API和網絡爬蟲這兩種方式采集新浪微博的數據，把采集的結果數據作為訓練模型的語料庫，同時也作為推薦信息的基本來源。
　　第二部分主要對用戶進行聚類操作，通過分析用戶發(fā)表的所有微博，提煉出用戶主題模型，然后使用k-means算法對所有的用戶主題模型進行聚類操作，把用

3、戶劃分成k類興趣相似的用戶簇。
　　第三部分關于微博推薦列表生成:用戶的所有主題詞構成一個用戶主題向量，用基于word2vec的文本相似性度量算法計算該簇中其它用戶發(fā)表的微博與該用戶主題向量之間的相似性，得到一個相似度列表。對相似度列表進行排序，取出相似度值最大的N個值所對應的微博加入推薦列表，針對用戶進行個性化推薦。
　　最后，利用node.js的express框架和一些前端庫，搭建了一個簡單的微博推薦系統，該系統基本實現