svm和logistic有什么區(qū)別？

SVM和logistic回歸都是比較常用的算法，而這兩個(gè)算法有什么異同點(diǎn)呢。下面是自己的總結(jié)，當(dāng)然也是自己的一些見解。

相同點(diǎn)：

1.都是分類模型

2.都是判別模型

不同點(diǎn)：

1.從損失函數(shù)角度：SVM用的是hinge loss,而logistic回歸用的是對(duì)率損失

2.從方法角度： SVM用的是統(tǒng)計(jì)方法，SVM最大間隔有完備的理論，logistic回歸是概率方法。

3.從對(duì)噪聲的影響角度：SVM對(duì)噪聲比較敏感，而logistic回歸對(duì)噪聲不是很敏感，是因?yàn)槿绻肼朁c(diǎn)落在了支持向量上，將會(huì)直接影響判別面的方程。而logistic回歸通過最大似然求解模型參數(shù)，將會(huì)弱化噪聲的影響。

4.從結(jié)果角度：SVM只能得到測試點(diǎn)屬于哪一類，而logistic回歸能得到屬于哪一類的概率，當(dāng)然在SVM也可以通過樣本點(diǎn)離判別面的相對(duì)距離進(jìn)行輸出屬于該類的概率。

5.從優(yōu)化方法角度：SVM有專門屬于自己的特點(diǎn)的優(yōu)化方法，SMO算法，該算法對(duì)于優(yōu)化SVM非常的高效。logistic回歸可以通過一些常用的算法，如梯度下降，共軛梯度下降，牛頓法

6.處理非線性的角度： SVM可以通過核方法，logistic可以通過特征的離散化將其非線性化。

7.處理大數(shù)據(jù)角度： SVM很難處理大數(shù)據(jù)，因?yàn)镾VM模型主要是由支持向量決定，而支持向量隨著數(shù)據(jù)量多項(xiàng)式增加。而logistic可以很容易運(yùn)用到大數(shù)據(jù)當(dāng)中。