SVM One-Versus-Allの超平面を描画する方法は?
Nov 26 2020
SVM-OVAが次のように実行されたときに、超平面を描画しようとしていました。
import matplotlib.pyplot as plt
import numpy as np
from sklearn.svm import SVC
x = np.array([[1,1.1],[1,2],[2,1]])
y = np.array([0,100,250])
classifier = OneVsRestClassifier(SVC(kernel='linear'))
この質問への回答に基づいて、超平面線形SVM pythonをプロットし、次のコードを記述しました。
fig, ax = plt.subplots()
# create a mesh to plot in
x_min, x_max = x[:, 0].min() - 1, x[:, 0].max() + 1
y_min, y_max = x[:, 1].min() - 1, x[:, 1].max() + 1
xx2, yy2 = np.meshgrid(np.arange(x_min, x_max, .2),np.arange(y_min, y_max, .2))
Z = classifier.predict(np.c_[xx2.ravel(), yy2.ravel()])
Z = Z.reshape(xx2.shape)
ax.contourf(xx2, yy2, Z, cmap=plt.cm.winter, alpha=0.3)
ax.scatter(x[:, 0], x[:, 1], c=y, cmap=plt.cm.winter, s=25)
# First line: class1 vs (class2 U class3)
w = classifier.coef_[0]
a = -w[0] / w[1]
xx = np.linspace(-5, 5)
yy = a * xx - (classifier.intercept_[0]) / w[1]
ax.plot(xx,yy)
# Second line: class2 vs (class1 U class3)
w = classifier.coef_[1]
a = -w[0] / w[1]
xx = np.linspace(-5, 5)
yy = a * xx - (classifier.intercept_[1]) / w[1]
ax.plot(xx,yy)
# Third line: class 3 vs (class2 U class1)
w = classifier.coef_[2]
a = -w[0] / w[1]
xx = np.linspace(-5, 5)
yy = a * xx - (classifier.intercept_[2]) / w[1]
ax.plot(xx,yy)
しかし、これは私が得たものです:

線は明らかに間違っています。実際には、角度係数は正しいように見えますが、切片は正しくありません。特に、オレンジ色の線は0.5を下に平行移動すると正しく、緑の線は0.5左に平行移動すると正しく、青の線は1.5を上に平行移動すると正しくなります。
線を引くのは間違っていますか、またはトレーニングポイントが少ないために分類器が正しく機能しませんか?
回答
5 meTchaikovsky Dec 01 2020 at 12:38
問題は、のC
パラメータSVC
が小さすぎることです(デフォルトでは1.0
)。この投稿によると、
逆に、Cの値が非常に小さいと、オプティマイザーは、たとえその超平面がより多くの点を誤って分類したとしても、マージンの大きい分離超平面を探します。
したがって、解決策はC
、たとえば、はるかに大きなものを使用することです。1e5
import matplotlib.pyplot as plt
import numpy as np
from sklearn.svm import SVC
from sklearn.multiclass import OneVsRestClassifier
x = np.array([[1,1.1],[1,2],[2,1]])
y = np.array([0,100,250])
classifier = OneVsRestClassifier(SVC(C=1e5,kernel='linear'))
classifier.fit(x,y)
fig, ax = plt.subplots()
# create a mesh to plot in
x_min, x_max = x[:, 0].min() - 1, x[:, 0].max() + 1
y_min, y_max = x[:, 1].min() - 1, x[:, 1].max() + 1
xx2, yy2 = np.meshgrid(np.arange(x_min, x_max, .2),np.arange(y_min, y_max, .2))
Z = classifier.predict(np.c_[xx2.ravel(), yy2.ravel()])
Z = Z.reshape(xx2.shape)
ax.contourf(xx2, yy2, Z, cmap=plt.cm.winter, alpha=0.3)
ax.scatter(x[:, 0], x[:, 1], c=y, cmap=plt.cm.winter, s=25)
def reconstruct(w,b):
k = - w[0] / w[1]
b = - b[0] / w[1]
if k >= 0:
x0 = max((y_min-b)/k,x_min)
x1 = min((y_max-b)/k,x_max)
else:
x0 = max((y_max-b)/k,x_min)
x1 = min((y_min-b)/k,x_max)
if np.abs(x0) == np.inf: x0 = x_min
if np.abs(x1) == np.inf: x1 = x_max
xx = np.linspace(x0,x1)
yy = k*xx+b
return xx,yy
xx,yy = reconstruct(classifier.coef_[0],classifier.intercept_[0])
ax.plot(xx,yy,'r')
xx,yy = reconstruct(classifier.coef_[1],classifier.intercept_[1])
ax.plot(xx,yy,'g')
xx,yy = reconstruct(classifier.coef_[2],classifier.intercept_[2])
ax.plot(xx,yy,'b')
今回はもっと大きいものC
を採用しているので見栄えが良くなります
