基于搜索數(shù)據(jù)的宏觀指標(biāo)預(yù)測方法研究.pdf

1、移動互聯(lián)網(wǎng)的飛速發(fā)展迎來了數(shù)據(jù)爆炸的時(shí)代，搜索服務(wù)提供商也因此積累了多樣的海量用戶搜索行為數(shù)據(jù)，這些數(shù)據(jù)是時(shí)下社會熱點(diǎn)的間接反饋，與宏觀指標(biāo)的定義不謀而合。因此，研究一種基于搜索數(shù)據(jù)的宏觀指標(biāo)分析方法成為可能，而且具有重要的科研和實(shí)際價(jià)值。
　　Google公司的GFT(Google Flu Trends)模型利用Google搜索數(shù)據(jù)對世界范圍內(nèi)的流感預(yù)測做出的重要貢獻(xiàn)，印證了搜索行為數(shù)據(jù)巨大的潛在價(jià)值。百度作為國內(nèi)最大的搜索服務(wù)

2、提供商，記錄著豐富的用戶搜索行為數(shù)據(jù)，利用這些數(shù)據(jù)，本文提出BS-MIP(Macro Index Predication based on Baidu Searches)模型，對宏觀指標(biāo)進(jìn)行全程自動化地預(yù)測分析，同時(shí)規(guī)避了（類）GFT模型對專業(yè)領(lǐng)域知識的強(qiáng)依賴約束。在早期的預(yù)測模型中，為避免因漏掉重要特征導(dǎo)致模型失準(zhǔn)，通常會選擇把可能相關(guān)的特征全部引入到模型，但由此引入的特征冗余風(fēng)險(xiǎn)，可能導(dǎo)致模型失效。本文提出以GA-Lasso(Gen

3、etic& Adaptive Lasso)方法為核心的特征選擇模塊，將傳統(tǒng)的特征選擇方法與人工智能的思想相結(jié)合，提供了解決高維小樣本問題和過擬合問題的實(shí)用方案。連續(xù)數(shù)值的離散化處理是數(shù)據(jù)預(yù)處理中的重要環(huán)節(jié)，不僅能夠簡化后續(xù)學(xué)習(xí)過程，提升學(xué)習(xí)效率。然而，無監(jiān)督情境中的離散化問題，因缺少類標(biāo)簽信息的輔助，成為離散化處理中亟待解決的難題。本文結(jié)合聚類思想和集成學(xué)習(xí)的思想，提出了以KED(Kmeans based EnsemblingDiscr