随机梯度下降算法SGD（Stochastic gradient descent）

1. SGD是什么

   SGD是Stochastic Gradient Descent（随机梯度下降）的缩写，是深度学习中常用的优化算法之一。SGD是一种基于梯度的优化算法，用于更新深度神经网络的参数。它的基本思想是，在每一次迭代中，随机选择一个小批量的样本来计算损失函数的梯度，并用梯度来更新参数。这种随机性使得算法更具鲁棒性，能够避免陷入局部极小值，并且训练速度也会更快。

怎么理解梯度？

假设你在爬一座山，山顶是你的目标。你知道自己的位置和海拔高度，但是不知道山顶的具体位置和高度。你可以通过观察周围的地形来判断自己应该往哪个方向前进，并且你可以根据海拔高度的变化来判断自己是否接近山顶。

在这个例子中，你就可以把自己看作是一个模型，而目标就是最小化海拔高度（损失函数）。你可以根据周围的地形（梯度）来判断自己应该往哪个方向前进，这就相当于使用梯度下降法来更新模型的参数（你的位置和海拔高度）。

每次你前进一步，就相当于模型更新一次参数，然后重新计算海拔高度。如果你发现海拔高度变小了，就说明你走对了方向，可以继续往这个方向前进；如果海拔高度变大了，就说明你走错了方向，需要回到上一个位置重新计算梯度并选择一个新的方向前进。通过不断重复这个过程，最终你会到达山顶，也就是找到了最小化损失函数的参数。

1. 为什么引入SGD

   深度神经网络通常有大量的参数需要学习，因此优化算法的效率和精度非常重要。传统的梯度下降算法需要计算全部样本的梯度，非常耗时，并且容易受到噪声的影响。随机梯度下降算法则可以使用一小部分样本来计算梯度，从而大大提高了训练速度和鲁棒性。此外，SGD还可以避免陷入局部极小值，使得训练结果更加准确。

2. 怎么用SGD

import torchfrom torch import nnfrom torch import optimdata = torch.tensor([[0,0],[0,1],[1,0],[1,1.]], requires_grad=True)target = torch.tensor([[0],[0],[1],[1.]], requires_grad=True)model = nn.Linear(2, 1)def train():    opt = optim.SGD(params=model.parameters(), lr=0.1)    for iter in range(20):        # 1) 消除之前的梯度（如果存在）        opt.zero_grad()        # 2) 预测        pred = model(data)        # 3) 计算损失        loss = ((pred - target)**2).sum()        # 4) 指出那些导致损失的参数（损失回传）        loss.backward()for name, param in model.named_parameters():            print(name, param.data, param.grad)        # 5) 更新参数        opt.step()        # 6) 打印进程        print(loss.data)if __name__ == "__main__":    train()————————————————版权声明：本文为CSDN博主「Yohuna」的原创文章，遵循CC 4.0 BY-SA版权协议，转载请附上原文出处链接及本声明。原文链接：https://blog.csdn.net/Yohuna/article/details/123789715

param.data是参数的当前值，而param.grad是参数的梯度值。在进行反向传播计算时，每个参数都会被记录其梯度信息，以便在更新参数时使用。通过访问param.data和param.grad，可以查看参数当前的值和梯度信息。值得注意的是，param.grad在每次调用backward()后都会自动清空，因此如果需要保存梯度信息，应该在计算完梯度之后及时将其提取并保存到其他地方。

计算结果：

weight tensor([[0.4456, 0.3017]]) tensor([[-2.4574, -0.7452]])bias tensor([-0.2108]) tensor([-2.6971])tensor(0.8531)weight tensor([[0.6913, 0.3762]]) tensor([[-0.2466,  1.1232]])bias tensor([0.0589]) tensor([0.7416])tensor(0.2712)weight tensor([[0.7160, 0.2639]]) tensor([[-0.6692,  0.4266]])bias tensor([-0.0152]) tensor([-0.2023])tensor(0.1529)weight tensor([[0.7829, 0.2212]]) tensor([[-0.4059,  0.4707]])bias tensor([0.0050]) tensor([0.0566])tensor(0.0963)weight tensor([[0.8235, 0.1741]]) tensor([[-0.3603,  0.3410]])bias tensor([-0.0006]) tensor([-0.0146])tensor(0.0615)weight tensor([[0.8595, 0.1400]]) tensor([[-0.2786,  0.2825]])bias tensor([0.0008]) tensor([0.0048])tensor(0.0394)weight tensor([[0.8874, 0.1118]]) tensor([[-0.2256,  0.2233]])bias tensor([0.0003]) tensor([-0.0006])tensor(0.0252)weight tensor([[0.9099, 0.0895]]) tensor([[-0.1797,  0.1793]])bias tensor([0.0004]) tensor([0.0008])tensor(0.0161)weight tensor([[0.9279, 0.0715]]) tensor([[-0.1440,  0.1432]])bias tensor([0.0003]) tensor([0.0003])tensor(0.0103)weight tensor([[0.9423, 0.0572]]) tensor([[-0.1152,  0.1146]])bias tensor([0.0003]) tensor([0.0004])tensor(0.0066)weight tensor([[0.9538, 0.0458]]) tensor([[-0.0922,  0.0917]])bias tensor([0.0003]) tensor([0.0003])tensor(0.0042)weight tensor([[0.9630, 0.0366]]) tensor([[-0.0738,  0.0733]])bias tensor([0.0002]) tensor([0.0003])tensor(0.0027)weight tensor([[0.9704, 0.0293]]) tensor([[-0.0590,  0.0586]])bias tensor([0.0002]) tensor([0.0002])tensor(0.0017)weight tensor([[0.9763, 0.0234]]) tensor([[-0.0472,  0.0469]])bias tensor([0.0002]) tensor([0.0002])tensor(0.0011)weight tensor([[0.9811, 0.0187]]) tensor([[-0.0378,  0.0375]])bias tensor([0.0001]) tensor([0.0002])tensor(0.0007)weight tensor([[0.9848, 0.0150]]) tensor([[-0.0303,  0.0300]])bias tensor([0.0001]) tensor([0.0002])tensor(0.0005)weight tensor([[0.9879, 0.0120]]) tensor([[-0.0242,  0.0240]])bias tensor([0.0001]) tensor([0.0001])tensor(0.0003)weight tensor([[0.9903, 0.0096]]) tensor([[-0.0194,  0.0192]])bias tensor([9.7973e-05]) tensor([0.0001])tensor(0.0002)weight tensor([[0.9922, 0.0076]]) tensor([[-0.0155,  0.0153]])bias tensor([8.5674e-05]) tensor([0.0001])tensor(0.0001)weight tensor([[0.9938, 0.0061]]) tensor([[-0.0124,  0.0123]])bias tensor([7.4933e-05]) tensor([9.4233e-05])tensor(7.6120e-05)