反向传播
想法
放假在家也要坚持锻炼呀!
笔记
在前向传播(forward)时,需要保存中间结果用来计算本地梯度(local gradient)。
Jacobian matrix 是对角阵。
PyTorch的Sigmoid代码节选:
1 | template <> |
事情慢慢变得变态了起来……
Welcome to 2020.
反向传播
放假在家也要坚持锻炼呀!
在前向传播(forward)时,需要保存中间结果用来计算本地梯度(local gradient)。
Jacobian matrix 是对角阵。
PyTorch的Sigmoid代码节选:
1 | template <> |
事情慢慢变得变态了起来……