knn回歸原理？

KNN是一種即可用于分類又可用于回歸的機器學習算法。

對于給定測試樣本，基于距離度量找出訓練集中與其最靠近的K個訓練樣本，然后基于這K個“鄰居”的信息來進行預測。

在分類任務中可使用投票法，選擇這K個樣本中出現(xiàn)最多的類別標記作為預測結果；

在回歸任務中可使用平均法，將這K個樣本的實值輸出標記的平均值作為預測結果。當然還可以基于距離遠近程度進行加權平均等方法。

KNN 優(yōu)點

1、理論成熟，思想簡單，既可以用來做分類也可以用來做回歸

2、可用于非線性分類

3、訓練時間復雜度比支持向量機之類的算法低，僅為O(n)

4、和樸素貝葉斯之類的算法比，對數(shù)據(jù)沒有假設，準確度高，對異常點不敏感

5、對于類域的交叉或重疊較多的待分樣本集來說，KNN方法較其他方法更為適合

6、比較適用于樣本容量比較大的類域的自動分類。

KNN 缺點

1、計算量大，尤其是特征數(shù)非常多的時候。

2、樣本不平衡的時候，對稀有類別的預測準確率低

3、KD樹，球樹之類的模型建立需要大量的內(nèi)存。

4、使用懶散學習方法，基本上不學習，導致預測時速度比起邏輯回歸之類的算法慢。

5、相比決策樹模型，KNN模型可解釋性不強。