用戶畫像構建中知識表示與模型融合研究.pdf

1、隨著互聯(lián)網(wǎng)技術特別是以谷歌和百度等為代表的搜索引擎的飛速發(fā)展，互聯(lián)網(wǎng)的數(shù)據(jù)呈現(xiàn)爆炸性增長。數(shù)據(jù)就是我們這個時代的石油，如何高效地、系統(tǒng)地開發(fā)利用這些海量數(shù)據(jù)顯得尤為重要。我們每天都通過搜索引擎留下大量行為記錄如歷史查詢詞等，這些數(shù)據(jù)為分析用戶人口屬性和愛好習慣，細致、全面地構建用戶畫像，提供了豐富的數(shù)據(jù)基礎。能否充分利用用戶行為記錄數(shù)據(jù)，刻畫出用戶屬性信息全貌，可以看作是企業(yè)大數(shù)據(jù)應用的基礎，用戶畫像構建任務越來越受到企業(yè)的關注。201

2、6年由中國計算機協(xié)會舉辦的大數(shù)據(jù)競賽《搜狗用戶畫像挖掘》中，本題目的數(shù)據(jù)集包括了搜狗用戶的歷史查詢記錄數(shù)據(jù)與用戶的人口屬性（包括年齡、性別、學歷）標簽。
　　針對用戶歷史查詢詞語料，本文比較系統(tǒng)地對比分析了多種表示學習方法，Bag of ngrams特征反映了用戶用詞習慣的差異，主題詞向量（Topic Word Embedding, TWE）用于提取用戶查詢詞的主題信息，文檔向量（Doc2Vec）用于總結用戶查詢詞之間的語義關聯(lián)信

3、息；此外，針對用戶查詢詞的短文本的特點，本文專門改進了Doc2Vec模型，分別提出了 Query Document Vector: distributed bag of words（qdv-dbow）和 Query Document Vector:A distributed memory model（qdv-dm）2種算法，進一步提升了查詢詞文檔向量的知識表示質(zhì)量。
　　針對用戶畫像構建任務，本文提出了一種用于預測多維人口屬性標簽

4、（包括性別、年齡、學歷）的二級融合算法框架。（1）在第一級單任務單模型中，結合Trigram特征與傳統(tǒng)機器學習模型來總結用戶用詞習慣的差異，結合 Doc2Vec知識表示與神經(jīng)網(wǎng)絡模型來抽取用戶查詢語義關聯(lián)信息；（2）在第一級多任務單模型中，使用深層卷積神經(jīng)網(wǎng)絡模型（Very Deep Convolutional Neural Network, VDCNN）來從字符粒度上深層萃取上下文關聯(lián)信息，使用 FastText神經(jīng)網(wǎng)絡模型從單詞粒度