大規(guī)模網(wǎng)絡(luò)數(shù)據(jù)中的平行句對(duì)抽取.pdf

1、本文由方法和實(shí)現(xiàn)兩個(gè)不同角度給出了一套由全網(wǎng)網(wǎng)絡(luò)數(shù)據(jù)源環(huán)境中抽取平行句對(duì)的方法。從句對(duì)挖掘算法角度上，將全網(wǎng)網(wǎng)絡(luò)數(shù)據(jù)源分為對(duì)照網(wǎng)頁(yè)和平行網(wǎng)頁(yè)兩種形式進(jìn)行了網(wǎng)頁(yè)中的平行文本段的抽取，對(duì)照網(wǎng)頁(yè)部分依次使用基于詞典的雙語(yǔ)頁(yè)面過(guò)濾和自適應(yīng)模板匹配的方法進(jìn)行文本段抽取，該部分達(dá)到了81％的召回率，平行網(wǎng)頁(yè)集合則先根據(jù)URL字符串相似匹配獲得平行網(wǎng)頁(yè)對(duì)候選，再?gòu)呐鋵?duì)網(wǎng)頁(yè)中通過(guò)節(jié)點(diǎn)匹配方式進(jìn)行平行文本段的挖掘，該部分?jǐn)?shù)據(jù)召回率達(dá)到75%。后又通過(guò)句子

2、切分和句對(duì)齊將平行文本段轉(zhuǎn)為了平行句對(duì)，通過(guò)本文給出的句對(duì)整理方法對(duì)結(jié)果句對(duì)進(jìn)行整理，并根據(jù)自定義的平行句對(duì)質(zhì)量評(píng)價(jià)算法對(duì)句對(duì)進(jìn)行了評(píng)分和過(guò)濾，最終得到非重復(fù)的結(jié)果平行句對(duì)約660萬(wàn)。該數(shù)據(jù)由隨機(jī)抽樣進(jìn)行人工評(píng)價(jià)，覆蓋率超過(guò)96%，可用性超過(guò)93%。從句對(duì)挖掘流程角度上，給出了兩種網(wǎng)頁(yè)集合分別的分布式方案，用于應(yīng)對(duì)算法本身應(yīng)對(duì)大規(guī)模數(shù)據(jù)困難的問(wèn)題。給出了對(duì)照網(wǎng)頁(yè)的分片處理方法，并給出了平行網(wǎng)頁(yè)采用的子集分片挖掘方法，提出了可行的應(yīng)對(duì)大規(guī)

3、模數(shù)據(jù)處理及數(shù)據(jù)增量更新的方案。最終在約75億網(wǎng)頁(yè)數(shù)據(jù)集，進(jìn)行對(duì)照數(shù)據(jù)部分抽取運(yùn)行時(shí)間約48小時(shí)，平行數(shù)據(jù)部分抽取時(shí)間約24小時(shí)。
　　本文提出了完整的由對(duì)照網(wǎng)頁(yè)和平行網(wǎng)頁(yè)兩種混合的網(wǎng)絡(luò)數(shù)據(jù)源進(jìn)行平行句對(duì)抽取的方法，在實(shí)際條件下進(jìn)行應(yīng)用，并在可行時(shí)間開銷內(nèi)獲取結(jié)果句對(duì)。通過(guò)對(duì)流程中增量更新的實(shí)現(xiàn)，完成了多數(shù)據(jù)集合并和網(wǎng)絡(luò)新數(shù)據(jù)源的抽取問(wèn)題。所提出的抽取流程支持大規(guī)模數(shù)據(jù)的抽取，同時(shí)支持增量更新，保證了該方法實(shí)踐可用性。最終句對(duì)質(zhì)量