读书笔记 - 《深度学习》第六章 深度前馈网络

深度前馈网络

介绍

现代深度学习的背后几乎所有应用其实都是参数化函数近似技术

现代神经网络分为两大类:前馈神经网络(feedforward neural network)和循环神经网络(recurrent neural network),就是看模型输出和模型本身之间有没有反馈连接。

训练数据为我们提供了在不同训练点上取值的、含有噪声的f*(x)的近似实例,训练数据告诉了输出层在每一点上的输出,但没告诉中间层每一层所需的输出,所以这些层被称为隐藏层

所以前馈神经网络可以想成是为了实现统计泛化而设计出的函数近似机,它偶尔从人类大脑中提取灵感,但并不是大脑功能的模型。

线性模型的缺陷:模型能力被局限在线性函数中,无法理解任何两个输入变量间的相互作用。而为了扩展线性模型的能力,我们可以把非线性变换用在输入上:

  • 起初人们使用一个通用的核,通常是RBF核,但其没有足够的先验信息进行编码来解决高级问题;
  • 手动设计核,在深度学习之前,这一直是主流方法,每个单独的任务都需要人们数十年的努力,不同领域之间很难迁移;
  • 深度学习的策略是去学习这种非线性变换,这种方法的优点是人类设计者只需要寻找正确的函数族即可,而不需要去寻找精确的函数。

大多数神经网络通过仿射变换之后紧跟着一个被称为激活函数的固定非线性函数来实现对非线性函数的表达,其中仿射变换由学得的参数控制。

其他

  1. 对于二进制数据建模时,MSE通常并不是一个合适的损失函数;
  2. 计算机科学的一个通用原则是,我们可以从最小的组件构建复杂的系统。就像图灵机的内存只需要能够存储0或1的状态;