大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)中的平行句對抽取.pdf

1、本文由方法和實(shí)現(xiàn)兩個(gè)不同角度給出了一套由全網(wǎng)網(wǎng)絡(luò)數(shù)據(jù)源環(huán)境中抽取平行句對的方法。從句對挖掘算法角度上，將全網(wǎng)網(wǎng)絡(luò)數(shù)據(jù)源分為對照網(wǎng)頁和平行網(wǎng)頁兩種形式進(jìn)行了網(wǎng)頁中的平行文本段的抽取，對照網(wǎng)頁部分依次使用基于詞典的雙語頁面過濾和自適應(yīng)模板匹配的方法進(jìn)行文本段抽取，該部分達(dá)到了81％的召回率，平行網(wǎng)頁集合則先根據(jù)URL字符串相似匹配獲得平行網(wǎng)頁對候選，再從配對網(wǎng)頁中通過節(jié)點(diǎn)匹配方式進(jìn)行平行文本段的挖掘，該部分?jǐn)?shù)據(jù)召回率達(dá)到75%。后又通過句子

2、切分和句對齊將平行文本段轉(zhuǎn)為了平行句對，通過本文給出的句對整理方法對結(jié)果句對進(jìn)行整理，并根據(jù)自定義的平行句對質(zhì)量評價(jià)算法對句對進(jìn)行了評分和過濾，最終得到非重復(fù)的結(jié)果平行句對約660萬。該數(shù)據(jù)由隨機(jī)抽樣進(jìn)行人工評價(jià)，覆蓋率超過96%，可用性超過93%。從句對挖掘流程角度上，給出了兩種網(wǎng)頁集合分別的分布式方案，用于應(yīng)對算法本身應(yīng)對大規(guī)模數(shù)據(jù)困難的問題。給出了對照網(wǎng)頁的分片處理方法，并給出了平行網(wǎng)頁采用的子集分片挖掘方法，提出了可行的應(yīng)對大規(guī)

3、模數(shù)據(jù)處理及數(shù)據(jù)增量更新的方案。最終在約75億網(wǎng)頁數(shù)據(jù)集，進(jìn)行對照數(shù)據(jù)部分抽取運(yùn)行時(shí)間約48小時(shí)，平行數(shù)據(jù)部分抽取時(shí)間約24小時(shí)。
　　本文提出了完整的由對照網(wǎng)頁和平行網(wǎng)頁兩種混合的網(wǎng)絡(luò)數(shù)據(jù)源進(jìn)行平行句對抽取的方法，在實(shí)際條件下進(jìn)行應(yīng)用，并在可行時(shí)間開銷內(nèi)獲取結(jié)果句對。通過對流程中增量更新的實(shí)現(xiàn)，完成了多數(shù)據(jù)集合并和網(wǎng)絡(luò)新數(shù)據(jù)源的抽取問題。所提出的抽取流程支持大規(guī)模數(shù)據(jù)的抽取，同時(shí)支持增量更新，保證了該方法實(shí)踐可用性。最終句對質(zhì)量