基于大規(guī)模類別體系的網(wǎng)頁(yè)分類及在商品分類中的應(yīng)用研究.pdf

1、近年來(lái)，隨著互聯(lián)網(wǎng)信息技術(shù)的廣泛應(yīng)用，電子文本不斷地快速累積，數(shù)量大到難以對(duì)它們進(jìn)行有效地管理與利用。因此，管理信息系統(tǒng)中對(duì)文本分類自動(dòng)化的需求也就越來(lái)越迫切。如何利用自動(dòng)化的技術(shù)快速有效地協(xié)助人們對(duì)文本文件、網(wǎng)頁(yè)數(shù)據(jù)等進(jìn)行分類已經(jīng)成均當(dāng)前信息服務(wù)與知識(shí)管理方面的重要課題。
　　 自動(dòng)分類可以減少人工勞動(dòng)的工作量，在實(shí)際應(yīng)用中至少可以節(jié)省一半以上的人力。對(duì)用戶而言，自動(dòng)分類的結(jié)果可以視為一種分類提示，這對(duì)于減輕人工分析文本、人工

2、文本歸類方面的工作有相當(dāng)大的幫助。本文從商品網(wǎng)頁(yè)角度切入，主要針對(duì)互聯(lián)網(wǎng)商品數(shù)據(jù)信息管理領(lǐng)域做了以下幾個(gè)方面的工作：
　　 1、基于大規(guī)模類別體系的數(shù)據(jù)采集工作。網(wǎng)絡(luò)中的數(shù)據(jù)量龐大且數(shù)據(jù)分布相對(duì)分散，大部分的網(wǎng)頁(yè)都沒(méi)有經(jīng)過(guò)標(biāo)注，特定領(lǐng)域的信息也不易獲取，這就使得在大規(guī)模類別體系下，網(wǎng)頁(yè)分類算法實(shí)驗(yàn)數(shù)據(jù)的組織與評(píng)價(jià)方式多種多樣，而且數(shù)據(jù)規(guī)模都較小，數(shù)據(jù)集質(zhì)量也比較差。因此，做好基于大規(guī)模類別體系的數(shù)據(jù)采集工作，形成一個(gè)大規(guī)?；鶞?zhǔn)數(shù)

3、據(jù)集會(huì)給研究者帶來(lái)很大幫助。本文提出了一種基于類別分布的采集策略，并在此基礎(chǔ)上設(shè)計(jì)一個(gè)大規(guī)模采集系統(tǒng)，支持并行方式爬行站點(diǎn)，通過(guò)提交一組待采集的網(wǎng)頁(yè)URL地址開(kāi)始收集數(shù)據(jù)。對(duì)于特定領(lǐng)域如淘寶網(wǎng)的數(shù)據(jù)采集，我們針對(duì)網(wǎng)站的個(gè)性化設(shè)置編寫(xiě)符合網(wǎng)站設(shè)計(jì)的定向爬蟲(chóng)來(lái)抓取所需的特定信息。
　　 2、基于跨文檔關(guān)系的網(wǎng)頁(yè)分類研究。面對(duì)大規(guī)模類別體系，層次類別研究策略是一個(gè)很好的選擇。但在文本分類研究中的層次分類研究中多數(shù)利用文檔自身的詞語(yǔ)集合

4、，而忽略了其中文檔間的鏈接關(guān)系。本文從文檔間的特殊關(guān)系，如父子關(guān)系、兄弟節(jié)點(diǎn)關(guān)系等入手，進(jìn)行大類別數(shù)即大規(guī)模類別情況下的文本層次分類研究。
　　 3、基于層次類別體系的商品分類研究。在電子商務(wù)交易中，類別都是按照商品間一個(gè)樹(shù)狀層次結(jié)構(gòu)來(lái)進(jìn)行分類的。在進(jìn)行商品分類研究時(shí)，考慮到商品的特殊特征，比如某些商品根據(jù)商品的品牌名稱就可以得到其所屬的分類類別，即其品牌的特征性區(qū)分度很高?；谶@一點(diǎn)，我們?cè)谘芯恐袦?zhǔn)備了一部描述商品品牌的詞典供