-- TOC --
对于一元函数，即只有一个变量，我们说导数（derivative）。对于多远函数，即有多个变量，我们说梯度（gradient）。
导数是个标量，只有大小（有正负），没有方向。梯度是个向量，除了每个维度的大小，组合在一起就是个方向。
梯度的每个维度的值，就是一个方向导数，或偏导数，比如对于一个二元函数，可以固定x得到z对于y的偏导数\(\cfrac{\partial z}{\partial y}\)，也可以固定住y得到z对于x的偏导数\(\cfrac{\partial z}{\partial x}\)。组合在一起，就是z的梯度\(\nabla=(\cfrac{\partial z}{\partial x},\cfrac{\partial z}{\partial y})\)。
一元函数的导数，其值在每一点均可能不相同，导数在某一点是个数，在某一区间，也是个函数，叫做导函数。
梯度在空间中的某一点，是个向量，向量可以理解为空间中的一个数值。梯度在某一片空间内，每个维度的值可能都在变化，也是一个多元函数。
常常看到有人直接说出一个结论：梯度方向是因变量变化最快的方向！比如二元函数的应变量z。
二元函数变量空间中的某个点，其切面是一个面，这个点在这个面上，可以按任意方向变化，360度无死角，无数个变化方向。但是，只有梯度确定的方向，是z变化最快的方向。
现在将这个结论对应到一元函数的导数身上：导数是y变化最快的方向。
不仅是变量最快的方向，还有确定的变化率，梯度的变化率就是梯度向量的长度。
导数是个标量，没有方向呀？
导数没有方向，但是与导数同源的，是一条切线（不是切面）。这条线就已经决定了方向。
因此，IMHO，梯度下降算法在一元函数上的应用，就是导数下降算法，完全一样。而且，用一元函数的平面曲线图，可以更容易地理解梯度下降算法。
补充一个细节：变化最快的方向，其实有两个方向，一正一负。
梯度下降算法，利用的就是梯度的负方向，即所谓“下降”，降低z的值（即cost function的值），以此来优化z，达到拟合数据的效果。
让我们用一元函数的图形来理解“导数下降”这个算法，请脑补一副可导曲线的图像：
\(\eta\)就是learning rate，带上负号，就是朝着梯度的反方向。
多元函数的梯度下降，也是这么一回事儿。
本文链接：https://cs.pynote.net/math/202209041/
-- EOF --
-- MORE --