中俄經貿合作網個性化服務的數(shù)據(jù)預處理研究.pdf

1、隨著互聯(lián)網的發(fā)展，Web中提供的信息越來越豐富，但是Web站點及信息數(shù)目的增多，導致用戶尋找信息困難，這就促進了提供一對一服務的個性化服務系統(tǒng)的出現(xiàn)。個性化服務的實現(xiàn)需要借助Web數(shù)據(jù)挖掘技術。一般來說，Web挖掘分為四個子任務：資源搜索、數(shù)據(jù)預處理、模式發(fā)現(xiàn)和模式分析。預處理是Web挖掘任務的一個重要階段，也是工作量較大的一部分，數(shù)據(jù)預處理的質量直接關系到數(shù)據(jù)挖掘結果的好壞。Web挖掘的針對性強，對于不同領域，數(shù)據(jù)預處理、模式發(fā)現(xiàn)和模

2、式分析等過程的處理也不完全相同。 目前，具體到針對個性化服務的數(shù)據(jù)預處理研究方面，研究大都停留在對啟發(fā)式規(guī)則的簡單應用，而沒有結合相關的領域知識。尤其是在會話識別中，一般根據(jù)設定的閾值進行“一刀切”式的處理，會話識別的精度不高，從而影響了后續(xù)對用戶訪問習慣的挖掘。 本文著重對個性化服務所基于的Web數(shù)據(jù)挖掘技術中的數(shù)據(jù)預處理過程進行研究。在研究過程中以中俄經貿合作網個性化服務所需的Web挖掘數(shù)據(jù)形式為目標，通過改進現(xiàn)有的

3、啟發(fā)式規(guī)則，進行系統(tǒng)建模、數(shù)據(jù)結構設計、程序流程設計等，使用編程語言最終實現(xiàn)了一套Web日志數(shù)據(jù)預處理系統(tǒng)。該系統(tǒng)將數(shù)據(jù)預處理的過程一數(shù)據(jù)清洗、用戶識別、會話識別等功能封裝起來，增加了數(shù)據(jù)預處理過程的可重用性，使得在進行進一步個性化研究時更加快捷、方便。同時，在SQL SERVER形成了一個可供進一步進行個性化服務研究的數(shù)據(jù)挖掘庫。 在如何能高效地應對更大數(shù)據(jù)量下的日志處理，如何在不影響效率的前提下更加精確地識別用戶和會話，以及