sckit-learn データセットを使った機械学習 分類編2 分類器を使った分類

用いる分類器の種類

・k近傍法
サポートベクターマシン(線形)
サポートベクターマシン(ガウシアンカーネル
・決定木
・ランダムフォレスト
・AdaBoost
・ナイーブベイズ
・線形判別分析
・二次判別分析

サポートベクターマシン

 サポートベクターマシンSupport Vector Machine:SVM)は2クラス分類識別器の一種ある。
その大きな特徴として次の三つがあげられる。

1.マージン最大化という方針で識別平面を決定するので高い汎化能力が期待できる。

2.学習がラグランジュ未定乗数法により二次計画問題に帰着され、局所最適解が必ず広域最適解となる。

3.識別対象の空間に対する事前知識を反映した特徴空間を定義することで、その特徴空間上で線形識別を行える。 さらにその特徴空間上での内積を表したカーネルと呼ばれる関数を定義することにより、明示的に特徴空間への 変換を示す必要がない。

from skleran import svm
classifier = svm.SVC(C=1.0, gamma=0.001)


決定木
データを複数クラスに分類する教師あり学習の1つ.
樹木モデルと呼ばれる木構造を利用した分類アルゴリズムです.
樹木モデルは,分類を実現するための分岐処理の集まり.

決定木のメリットは,分類ルールを樹木モデルとして可視化できるため,分類結果の解釈が比較的容易である点です.

デメリットは,過学習してしまう場合がある.
また,扱うデータの特性によっては,樹木モデルを生成することが難しいケースがある.



import matplotlib.pyplot as plt
import numpy as np
from sklearn import datasets
from sklearn import tree
from sklearn import metrics

#3 and 8 setting position
flag_3_8 = (digits.target == 3) + (digits.target == 8)

#get data of 3 and 8
#.target[]でラベル,.images[]で画像を取得
images = digits.images[flag_3_8]
labels = digits.target[flag_3_8]
#3と8の画像データを一次元化
images = images.reshape(images.shape[0], -1)

#create cllasifier
n_sample = len(flag_3_8[flag_3_8])
train_size = int(n_sample * 3 / 5)

#分類器:決定木を生成
classifier = tree.DecisionTreeClassifier()

#classifier.fit()で生成した分類器に学習データを与えて学習を実行
classifier.fit(images[:train_size], labels[:train_size])



#性能評価
#正解ラベルとしてテストデータのラベルを取り出している
expected = labels[train_size:]
#分類の実行(テストデータを与えて分類結果(予測したラベル)を取得している)
predicted = classifier.predict(images[train_size:])

#accuracy_score()によって正答率を計算
print('accuracy:\n', metrics.accuracy_score(expected, predicted))



ランダムフォレスト
アンサンブル学習と呼ばれる学習法のひとつ.アンサンブル学習とは,いくつかの性能の低い分類器を組み合わせて,ひとつの性能の高い分類器を作る手法です.性能の低い分類器は決まったものがあるわけではなく,適宜選択の必要がある.
アンサンブル学習のイメージは,弱分類器の多数決.
下記の2つの生成方法に分けることができる.
バギング
学習データを抜けや重複を許して複数個のグループに分割し,学習データのグループごとに弱分類化を生成する手法です.分類時は,各弱分類器の出力した分類結果の多数決を取ります.

ブースティング
複数の弱分類器を用意し,重み付きの多数決で分類を実現する方法.その重みも学習によって決定します,難易度の高い学習データを正しく分類できる弱分類器の判別結果が重視されるように重みを更新していきます.


ランダムフォレストは,バギングに分類されるアルゴリズム
学習データ全体の中から重複や欠落を許して複数個の学習データセットを抽出し,その一部の属性を使って決定木を生成します.
判別処理が高速で学習データのノイズにも強いというメリットがある.分類だけでなく回帰やクラスタリングにも使える.
ただし,学習データ数が少ない場合は過学習になる傾向がある.

ランダムフォレストは決定木を複数組み合わせて、各決定木の予測結果を多数決することによって結果を得る.

以下アルゴリズム

①ランダムにデータを抽出

②決定木を成長させる

③1,2ステップを指定回繰り返す

予測結果を多数決することによって分類閾値(ラベル)を決定

ランダムフォレストはパラメータが非常に簡単になるという利点があります.主要なパラメータはサンプリング数と決定木を成長させる際に使用する特徴量の数だけです.
決定木の特徴量数は一般的にサンプル数をnとしたときにn‾√n にすると良いと言われている.

from sklearn import ensemble
classifier _ ensemble.RandomForestClassifier(n_estimator_20, max_depth_3, criterion="gini”)

AdaBoost
アンサンブル学習の一つ.ブースティングに分類されるアルゴリズム
弱識別機の適用させ,誤分類してしまったものの重みを増やす.
そして,次にその重みがついたものを優先的にみて,分類.ということを繰り返す.

参考:
http://www.kameda-lab.org/lecture/2011-tsukubagrad-PRML/20111004_AIST_Makita.pdf

from sklearn import ensemble
estimator = tree.DecisionTreeClassifier(max_depth=3)
classifier _ ensemble.AdaBoostClassifier(base_estmator=estimator, n_estimator=20)