北大計(jì)算機(jī)科學(xué)技術(shù)研究所

1、ICST 參加SEWM2005評(píng)測(cè)報(bào)告,北京大學(xué)計(jì)算機(jī)科學(xué)技術(shù)研究所路 斌,內(nèi)容提綱,CWT100G數(shù)據(jù)預(yù)處理Web檢索文本檢索鏈接分析任務(wù)處理Web Page分類未來工作,CWT100G數(shù)據(jù)的預(yù)處理,URL消重提取552.6萬條可用數(shù)據(jù)提取內(nèi)容：網(wǎng)頁(yè)信息超鏈接關(guān)系,從原始網(wǎng)頁(yè)得到更多的信息,提取六個(gè)字段，賦予不同權(quán)重網(wǎng)頁(yè)正文、Title、Meta、正文標(biāo)題、鏈出文字鏈入文字提取鏈接關(guān)系網(wǎng)頁(yè)間的指向關(guān)系,

2、內(nèi)容提綱,CWT100G數(shù)據(jù)預(yù)處理Web檢索文本檢索鏈接分析任務(wù)處理Web Page分類未來工作,文本檢索,自動(dòng)分詞,正向最大匹配法逆向最大匹配法雙向匹配法聯(lián)想-回溯法...,索引技術(shù),倒排索引,查詢處理,查詢處理流程查詢分詞短語(yǔ)查詢and查詢or查詢,相關(guān)度排序,向量空間模型初始檢索結(jié)果根據(jù)tf*idf排序文章長(zhǎng)度TF/總詞數(shù),字段權(quán)重調(diào)整,提取內(nèi)容包括六個(gè)域：網(wǎng)頁(yè)正文、標(biāo)簽、Meta、鏈出文字、正

3、文標(biāo)題、鏈入文字各個(gè)字段分別建立索引權(quán)重計(jì)算線性搜索方法粗粒度－>細(xì)粒度,鏈接分析,HITSPageRank衰減因子值的選擇： 0.85衰減因子值越大，計(jì)算所需的迭代次數(shù)就越多PageRank值與IR系統(tǒng)結(jié)果值相乘,Web檢索任務(wù),主頁(yè)/指定頁(yè)面查詢實(shí)施與主流搜索引擎所用技術(shù)基本相同主題提取任務(wù)當(dāng)前主流搜索引擎并不能很好的完成這項(xiàng)任務(wù)，對(duì)檢索結(jié)果運(yùn)用特別的算法進(jìn)行再處理,主頁(yè)/指定頁(yè)面查詢,區(qū)分HomePa

4、ge和NamedPageHP對(duì)主頁(yè)加分線性搜索最佳系數(shù)NP/HP采用不同系數(shù),,主題提取任務(wù),鏈接關(guān)系利用將查詢結(jié)果中同一網(wǎng)站的網(wǎng)頁(yè)聚集在一塊，尋找入口網(wǎng)頁(yè)（在較上層且指向較多的結(jié)果網(wǎng)頁(yè)）二次篩選處理使得前10/20個(gè)結(jié)果包含盡可能多的不同站點(diǎn)，允許一定程度的冗余（2/3),實(shí)驗(yàn)結(jié)果分析,NP/HP任務(wù)區(qū)分針對(duì)任務(wù)采取不同策略HP任務(wù)相對(duì)于NP較難TD任務(wù)更難如何更好利用鏈接關(guān)系,內(nèi)容提綱,CWT100G數(shù)據(jù)預(yù)處理

5、Web檢索文本檢索鏈接分析任務(wù)處理Web Page分類未來工作,Web Page分類,分類算法SVM文檔模型向量空間模型網(wǎng)頁(yè)特征網(wǎng)頁(yè)正文、Title、Meta、正文標(biāo)題、鏈出文字鏈入文字,實(shí)驗(yàn)結(jié)果分析,各個(gè)字段權(quán)重計(jì)算,內(nèi)容提綱,CWT100G數(shù)據(jù)預(yù)處理Web檢索文本檢索鏈接分析任務(wù)處理Web Page分類未來工作,未來工作,文檔模型相似度計(jì)算模型自動(dòng)分詞詞性標(biāo)注、消除歧義、未登錄詞識(shí)別URL匹