基于最大熵海量網(wǎng)絡(luò)POI數(shù)據(jù)判重技術(shù)的研究.pdf

1、隨著移動互聯(lián)網(wǎng)的發(fā)展，基于位置的服務(wù)極大的提高了人們出行的方便，基于位置的服務(wù)也成為工業(yè)界和學(xué)術(shù)界的研究熱點(diǎn)；與此同時，基于位置服務(wù)的內(nèi)容和應(yīng)用模式也隨著人們獲取信息的需求不斷的變化。基于位置的服務(wù)蘊(yùn)涵著巨大的商業(yè)價值，已經(jīng)成為各大互聯(lián)網(wǎng)廠家相互爭奪的陣地。興趣點(diǎn)（POI）是位置服務(wù)平臺的一種基礎(chǔ)數(shù)據(jù)元素，其質(zhì)量直接影響到位置服務(wù)的質(zhì)量。然而，POI數(shù)據(jù)來源廣泛，數(shù)據(jù)格式多樣，有效信息缺失或錯誤等問題，給POI數(shù)據(jù)的融合更新帶來了很大的

2、困難。有效的更新POI數(shù)據(jù)庫，使其能更好的對應(yīng)不斷變化地理實(shí)體，既是現(xiàn)實(shí)的客觀需求，也可以更好的滿足用戶多樣化的信息需求，推動各廠商位置服務(wù)向著內(nèi)容豐富、服務(wù)精準(zhǔn)和便捷高效發(fā)展。針對互聯(lián)網(wǎng)上多源異構(gòu)POI數(shù)據(jù)的融合的問題，本文所做的工作主要包括以下幾個方面的內(nèi)容：
　?。?）網(wǎng)絡(luò)POI數(shù)據(jù)的收集和預(yù)處理。首先分析各大基于位置服務(wù)網(wǎng)站的技術(shù)結(jié)構(gòu)，利用python腳本設(shè)計爬蟲算法，抽取相關(guān)網(wǎng)絡(luò)平臺的POI數(shù)據(jù)，對數(shù)據(jù)進(jìn)行清洗，將不同格

3、式的數(shù)據(jù)統(tǒng)一到標(biāo)準(zhǔn)格式下，尤其是將不同坐標(biāo)系下的空間屬性，轉(zhuǎn)換到同一的經(jīng)緯度坐標(biāo)下。
　?。?）基于POI數(shù)據(jù)空間和屬性的約束關(guān)系，針對海量POI數(shù)量難以在有效的時間內(nèi)處理的問題，設(shè)計一種哈希索引方法，這種方法使得加入新POI數(shù)據(jù)的比較過程，局限在一個較小的POI數(shù)據(jù)集合內(nèi)，使得數(shù)據(jù)的融合判重過程得以順利進(jìn)行。
　?。?）POI各屬性的相似度分級判定規(guī)則，POI的比較是綜合比較各屬性的結(jié)果，每個屬性的相同或不相同，難以客觀反

4、映現(xiàn)實(shí)，通過細(xì)分各相似度的等級，使其更加準(zhǔn)確，為最大熵模型的輸入輸入創(chuàng)造條件。
　?。?）基于最大熵模型的判重方法，分別比較一對POI的經(jīng)緯度，名稱和地址的相似度，利用人工確定樣本訓(xùn)練最大熵模型，將POI層輸出的相似度等級作為特征輸入，利用最大熵模型得到一個綜合的相似度，然后取一個閥值來衡量一對POI點(diǎn)是否重復(fù)。實(shí)驗(yàn)結(jié)果表明，本文提出的技術(shù)可以在少量人工的干預(yù)下，極大的提高網(wǎng)絡(luò)POI數(shù)據(jù)的融合更新效率，并且具有較低誤判率，能夠提高