核矩陣近似的研究及其在支持向量機(jī)中的應(yīng)用.pdf

1、近年來(lái)，由于互聯(lián)網(wǎng)技術(shù)的快速發(fā)展，人工智能越來(lái)越受到人們的重視。然而由于數(shù)據(jù)的爆炸式增長(zhǎng)，機(jī)器學(xué)習(xí)所面臨的問(wèn)題規(guī)模也越來(lái)越大，大規(guī)模核矩陣的計(jì)算和存儲(chǔ)已經(jīng)成為了主要核方法如支持向量機(jī)泛化能力的主要瓶頸。針對(duì)這一問(wèn)題，研究人員提出了各種方法對(duì)核矩陣進(jìn)行逼近。
　　核矩陣近似算法的核心思想是用部分采樣取代所有的數(shù)據(jù)計(jì)算核矩陣，這樣就大大減少了所需要的時(shí)間和內(nèi)存空間，其中最簡(jiǎn)單并且使用最多的就是Nystrom矩陣逼近方法。然而由于這種方

2、法選取的樣本點(diǎn)是隨機(jī)抽樣的，因此不可避免對(duì)逼近誤差造成了較大影響。因此，研究者提出了一些改進(jìn)算法，如集成Nystrom，其主要思想為增加采樣點(diǎn)來(lái)減少誤差;同時(shí)，也有一些其他方法，將聚類(lèi)的思路融入到Nystrom方法中，同時(shí)考慮了核矩陣的低秩結(jié)構(gòu)和聚類(lèi)結(jié)構(gòu)，如MEKA方法。
　　可以看出，核矩陣近似方法的重點(diǎn)在于兩方面，一方面是如何取樣，另一方面是能否利用核矩陣的其他信息。因此，根據(jù)支持向量機(jī)的特點(diǎn)，將類(lèi)標(biāo)信息和決策邊界信息作為核矩

3、陣近似算法的參考依據(jù)，以提高支持向量機(jī)的效率是一個(gè)值得嘗試的思路。
　　本文詳細(xì)介紹了支持向量機(jī)的思想和原理，以及已有幾種主要的核矩陣近似方法，并且提出了一種基于協(xié)同聚類(lèi)的Nystrom核矩陣近似算法，協(xié)同聚類(lèi)是一種基于k-means聚類(lèi)的算法，它可以在訓(xùn)練數(shù)據(jù)集中找到小規(guī)模最可能成為支持向量的樣本點(diǎn)。通過(guò)協(xié)同聚類(lèi)方法，可以使原始Nystrom算法中選取的樣本點(diǎn)基本不丟失分類(lèi)信息，這可以在保證分類(lèi)精度基本不變的前提下，明顯提高支持