優化問題解的收斂性及迭代過程的終止條件？

顧名思義，梯度下降法的計算過程就是沿梯度下降的方向求解極小值（也可以沿梯度上升方向求解極大值）。 其迭代公式為 ,其中 代表梯度負方向， 表示梯度方向上的搜索步長。

梯度方向我們可以通過對函數求導得到，步長的確定比較麻煩，太大了的話可能會發散，太小收斂速度又太慢知。

一般確定步長的方法是由線性搜索算法來確定，即把下一個點的坐標ak+1看做是的函數，然后求滿足f(ak+1)的最小值的 即可。

因為一般情況下，梯度向量為0的話說明是到了一個極值點，此時梯度的幅值也為0.而采用梯度下降算法進行最優化求解時，算法迭代的終止條件是梯度向量的幅值接近0即可，可以設置個非常小的常數閾值道。