svmを用いた 統(tǒng)計(jì)的日本語係り受け解析

1、Support Vector Machine による日本語係り受け解析,奈良先端科學(xué)技術(shù)大學(xué)院大學(xué)情報(bào)科學(xué)研究科 自然言語処理學(xué)講座工藤 拓 松本裕治,係り受け解析,日本語の統(tǒng)語解析の基本技術(shù)の１つ二文節(jié)間の係りやすさを數(shù)値化した行列を作成し，文全體を最適化する係り受け関係を?qū)С鋈耸证摔瑜胧址à椤⒔馕鰷gみコーパスから統(tǒng)計(jì)的に求める手法へ,統(tǒng)計(jì)的係り受け解析,入力文節(jié)列,係り先パターン列,文節(jié) i, j の言語的特徴

2、を示すｎ次元素性ベクトル,係り関係がすべて獨(dú)立だと仮定,従來手法の問題點(diǎn)(1),慎重な素性選択が必要多くの素性を使用すると過學(xué)習(xí)してしまう最適な素性集合の選択は試行錯(cuò)誤や人手に頼っている,従來手法の問題點(diǎn)(2),各素性の組み合わせ（共起，依存関係）を効率よく學(xué)習(xí)できない共起選択の方法はさまざま，人手により発見的に選択細(xì)かな依存関係を見ると… データスパースネス，計(jì)算量増加，過學(xué)習(xí),例,Supp

3、ort Vector Machine（1）,V.Vapnik 95入力素性數(shù)に依存しない汎化能力を持ち過學(xué)習(xí)しにくい計(jì)算量をほとんど変えることなく，素性どうしの組み合わせ（共起，依存関係）を含めた學(xué)習(xí)が可能,SVM(2),線形２値（正例，負(fù)例）分類器，Euclid空間上の平面で分離,正例，負(fù)例，その他(マージン領(lǐng)域），の３つの領(lǐng)域に分割,SVM(3),,,,,,,,,,,,,マージン d を最大にするためには ||w|| を最小にす

4、ればよい,,,,SVM(4),以下の制約付き多項(xiàng)式の最適化問題に帰著,Lagrange乗數(shù) αを?qū)毪筏齐p対問題に変換,最終的な識別関數(shù),最小化：,制約條件：,制約條件：,最大化：,Kernel関數(shù)(1),線形分離できない場合,,各素性をの組み合わせを展開し，より高次元の素性ベクトル空間に射影すれば線形分離しやすくなる,Kernel関數(shù)(2),學(xué)習(xí)：,識別関數(shù):,Kernel関數(shù)(3),例,d次のPolynomial関數(shù),2次元を6次

5、元の空間へ寫像，組み合わせの項(xiàng)も追加されるd次のPolynomial関數(shù)はd個(gè)までの組み合わせを含めた學(xué)習(xí),SVM（まとめ）,入力素性數(shù)に依存しない汎化能力を持ち過學(xué)習(xí)しにくいマージン最大化計(jì)算量をほとんど変えることなく素性どうしの組み合わせを含めた學(xué)習(xí)が可能Kernel関數(shù)d個(gè)までの素性の組み合わせを考慮しながらその中で汎化能力を最大にする戦略Smoothingの効果が期待できる,SVMによる係り受け解析（1）,正例，負(fù)例

6、の與え方,,學(xué)習(xí)データ中の全係り受け候補(bǔ),係った事例 → 正例,係らなかった事例 → 負(fù)例,SVMによる係り受け解析（2）,係り受け確率,（Sigmoid関數(shù)）,,厳密には確率値ではない，距離を確率値に正規(guī)化，Sigmoid関數(shù)は確率へのよい近似を與えることが実験的に示されている （J.Platt 99）従來からある確率モデルの枠組で解析関根99の文末からビームサーチを行う解析手法を採用,靜的素性と動(dòng)的素性

7、,靜的素性2文節(jié)の主辭の語彙，品詞，2文節(jié)間距離など文節(jié)まとめあげの段階で決定される,動(dòng)的素性係り関係そのもの，解析しながら動(dòng)的に追加動(dòng)的素性も含めてビームサーチ,実験環(huán)境，設(shè)定（1）,京都大學(xué)テキストコーパスVersion2.0の一部學(xué)習(xí)データ 1月1日－8日 7958文テストデータ 1月9日 1246文內(nèi)元98と同じ學(xué)習(xí)データ，テストデータKernel関數(shù)は，Polynomial関數(shù)，次元數(shù) d=3Beam幅 k=

8、5評価方法係り受け正解率文末から2番目の評価含める (A) デフォルト， 含めない（B）文正解率,実験環(huán)境，設(shè)定（2）,実験結(jié)果（1）（d=3，k=5）,実験結(jié)果（2）（d=3，k=5）,動(dòng)的素性の効果（d=3，k=5）,Kernel関數(shù)と解析精度,ビーム幅と解析精度,関連研究との比較,內(nèi)元98との比較最大エントロピー法に基づくモデル87.2%の精度 （本手法は89.1%）素性の組み合わせ（共起，依存関係）の重要性を指

9、摘しているが，組み合わせは，人手により発見的に 選択，有効な組み合わせを網(wǎng)羅できない本手法はKernel関數(shù)の変更のみ，網(wǎng)羅性， 一貫性という意味で優(yōu)位,今後の課題,明らかに係らない制約を（人手により）導(dǎo)入他の計(jì)算コストの少ないモデルとの融合誤り駆動(dòng)型による素性選択,,全係り受け関係を用いるため，多くの計(jì)算量が必要,まとめ,7958文という非常に少量のデータにもかかわらず，89.1％の高い精度を示すSVMの持つ，高次元の入