梯度下降算法概述

一、两个老方法及其弊端

观察法

已经是老古董了，再无话说。

再无话说

分治法

分治法缺陷明显：可能错过最优点；一旦权重数量级完全变大，如AlexNet（500万级），会导致划分搜索失效。

二、DL所采用的——梯度下降算法

实际上是用梯度下降算法。

Gradient： $\frac{\partial cost}{\partial \omega}$

Update： $w = w - (\alpha \frac{\partial cost}{\partial \omega})$

可以理解为是函数曲线求导数的正负号，当为负的时候，下降最猛。每次迭代就向着下降最快的地方狂奔。

算法设计思想：贪心。（梯度下降算法同贪心算法，得到的数据并非是全局最优）

（非凸函数的最优点只是局部最优，梯度下降算法基本求得的就是局部最优）

那么为什么DL/神经网络会采用求局部最优呢？实际上深度神经网络的目标函数内很难陷入局部最优点。只有在鞍点时，梯度为0，无局部最优点。在用梯度下降算法进行梯度优化时，如果到达平缓区域，将无法进行优化更新（陷入鞍点）

所以结合损失函数和梯度下降算法，如下Derivative：

\begin{aligned} \frac{\partial cost(\omega)}{\partial \omega} &= \frac{\partial}{\partial \omega} \frac{1}{N} \sum_{n=1}^{N} (x_n \cdot \omega - y_n)^2 \\ &= \frac{1}{N} \sum_{n=1}^{N} \frac{\partial}{\partial \omega} (x_n \cdot \omega - y_n)^2 \\ &= \frac{1}{N} \sum_{n=1}^{N} 2 \cdot (x_n \cdot \omega - y_n) \frac{\partial (x_n \cdot \omega - y_n)}{\partial \omega} \\ &= \frac{1}{N} \sum_{n=1}^{N} 2 \cdot x_n \cdot (x_n \cdot \omega - y_n) \end{aligned}

其中 $\hat{y} = \omega \cdot x$ ，最后得到了机器学习中经典的梯度下降（Gradient Descent）更新公式：

\omega = \omega - \alpha \frac{1}{N} \sum_{n=1}^{N} 2 \cdot x_n \cdot (x_n \cdot \omega - y_n)

三、具体代码实现

1
import numpy as np
2
import matplotlib.pyplot as plt
3

4
x_data = [1.0, 2.0, 3.0]
5
y_data = [2.0, 4.0, 6.0]
6

7
w = 1.0  ### 初始权重
8

9
epoch_list = []
10
loss_list = []
11

12
def forward(x):##前馈函数
13
    return x * w
14

15
def cost(xs, ys):
16
    cost = 0
17
    for x, y in zip(xs, ys):
18
        y_pred = forward(x)
19
        cost += (y_pred - y) ** 2
20
    return cost / len(xs)
21

22
def gradient(xs, ys):###求算梯度
23
    grad = 0
24
    for x, y in zip(xs, ys):
25
        grad += 2 * x * (x * w - y)
26
    return grad / len(xs)
27

28
print('Predict (before training)', 4, forward(4))
29
for epoch in range(100):###训练过程：100轮训练
30
    cost_val = cost(x_data, y_data)###算平均成本
31
    grad_val = gradient(x_data, y_data)###求梯度
32
    w -= 0.01 * grad_val
33

34
    epoch_list.append(epoch)###为了绘图写的
35
    loss_list.append(cost_val)
36

37
    print('Epoch:', epoch, 'w=', w, 'loss=', cost_val)
38
print('Predict (after training)', 4, forward(4))
39

40

41
plt.plot(epoch_list, loss_list)  ### x轴是轮数，y轴是损失值
42
plt.ylabel('Cost')               ### 加上引号，变成字符串
43
plt.xlabel('Epoch')              ### 加上引号，变成字符串
44
plt.show()

输出结果：

1
Predict (before training) 4 4.0
2
Epoch: 0 w= 1.0933333333333333 loss= 4.666666666666667
3
Epoch: 1 w= 1.1779555555555554 loss= 3.8362074074074086
4
Epoch: 2 w= 1.2546797037037036 loss= 3.1535329869958857
5
Epoch: 3 w= 1.3242429313580246 loss= 2.592344272332262
6
Epoch: 4 w= 1.3873135910979424 loss= 2.1310222071581117
7
......
8
Epoch: 96 w= 1.9999254544053418 loss= 3.154680994333735e-08
9
Epoch: 97 w= 1.9999324119941766 loss= 2.593287985380858e-08
10
Epoch: 98 w= 1.9999387202080534 loss= 2.131797981222471e-08
11
Epoch: 99 w= 1.9999444396553017 loss= 1.752432687141379e-08
12
Predict (after training) 4 7.999777758621207

但是以后的深度学习下降曲线难免是不稳定下降的（曲线刺刺的），所以可以来做个加权均值使曲线平滑。

如果学习率太大，也有可能梯度不降反升。

四、随机梯度下降算法

Stochastic Gradient Descent： $w = w - (\alpha \frac{\partial loss}{\partial \omega})$

拿单个样本的损失对权重求导，由单个样本实现跨越鞍点前进。

以下是SGD代码，相较于批量梯度下降代码进行了更新：

1
x_data = [1.0, 2.0, 3.0]
2
y_data = [2.0, 4.0, 6.0]
3

4
w = 1.0
5

6
def forward(x):
7
    return x * w
8

9
def loss(x, y):###以前是cost
10
    y_pred = forward(x)
11
    return (y_pred - y) ** 2
12

13
def gradient(x, y):###以前是求和，现在是单个求
14
    return 2 * x * (x * w - y)
15

16
print('Predict (before training)', 4, forward(4))
17

18
for epoch in range(100):
19
    for x, y in zip(x_data, y_data):
20
        grad = gradient(x, y)###对每一个样本求梯度，进行更新
21
        w = w - 0.01 * grad
22
        print("\tgrad: ", x, y, grad)
23
        l = loss(x, y)
24

25
    print("progress:", epoch, "w=", w, "loss=", l)
26

27
print('Predict (after training)', 4, forward(4))