大數(shù)據(jù)環(huán)境下面向垂直領(lǐng)域的異構(gòu)資源整合與信息挖掘.pdf

1、近年來(lái)，垂直微博平臺(tái)的興起，為垂直行業(yè)的信息交流帶來(lái)了很大的方便。但就目前來(lái)講，面向垂直領(lǐng)域的大量有用信息資訊仍隱藏在互聯(lián)網(wǎng)上的海量數(shù)據(jù)中，用戶需要在不同數(shù)據(jù)源間切換查找數(shù)據(jù)，對(duì)于廣大手機(jī)用戶來(lái)說(shuō)，這種方式不僅費(fèi)時(shí)費(fèi)力，還可能帶來(lái)巨大的流量消耗。因此，針對(duì)垂直領(lǐng)域的相關(guān)信息進(jìn)行采集和整理，基于垂直微博平臺(tái)來(lái)實(shí)現(xiàn)分類資訊的統(tǒng)一推送服務(wù)，對(duì)于解決用戶的信息獲取難題具有重要的現(xiàn)實(shí)意義。
　　針對(duì)垂直微博平臺(tái)上的分類資訊智能生成和推送問題

2、，首先，通過擴(kuò)展Heritrix開源爬蟲框架，增加主題相關(guān)性判斷模塊，實(shí)現(xiàn)對(duì)垂直領(lǐng)域的主題相關(guān)信息的爬取，并基于KNN算法設(shè)計(jì)更加高效的分類方法對(duì)數(shù)據(jù)進(jìn)行分類。然后，根據(jù)分類整理后的信息自動(dòng)生成不同類別的公共微博，通過農(nóng)業(yè)微博上的公共賬號(hào)實(shí)現(xiàn)信息推送。最后，針對(duì)信息推送過程中的種子用戶選擇問題進(jìn)行研究，考慮到目前具有最優(yōu)求解效果的貪心算法在時(shí)間復(fù)雜度上的缺陷和啟發(fā)式算法在求解精度上的不足，對(duì)于貪心算法中耗時(shí)的用戶影響力邊界增益計(jì)算過程，

3、在PageRank算法的基礎(chǔ)上設(shè)計(jì)了更加高效的評(píng)估方法來(lái)進(jìn)行取代，實(shí)現(xiàn)了有效的種子用戶選取算法ScoreDiscount。
　　分類資訊智能生成和推送系統(tǒng)現(xiàn)已在農(nóng)業(yè)微博平臺(tái)上進(jìn)行部署，實(shí)現(xiàn)了農(nóng)業(yè)信息的采集、分類和推送功能。主題爬蟲在針對(duì)農(nóng)業(yè)信息的爬取準(zhǔn)確率上達(dá)到了現(xiàn)有主題爬蟲的正常水平，分類算法在分類準(zhǔn)確率上與原始的KNN算法保持接近，而在分類效率上有了明顯提高。模擬測(cè)試結(jié)果表明，ScoreDiscount算法在傳播效果上能夠達(dá)到