第三章 神经网络萃取隐蔽相关性（第3页）

的灯泡最亮）。

训练的过程是这样的：我们先指定输出的一个灯泡最亮对应于识别出了汽车，第二个灯泡最亮对应猫，等等。

我们先找到足够多的汽车图片（例如1万张，训练图片越多，训练出的机器判断越准确），一张一张给机器“看”

（实际训练是一组一组地给机器看）。

在机器没有训练好时，当我们输入一张汽车图片时，输出的灯泡会乱亮。

我们此时耐心地调节那些旋钮直到只有对应“汽车”

的灯泡亮为止。

然后我们输入下一张汽车图片，也调到只有对应汽车的灯泡亮为止，如此一直到1万张。

然后我们再输入第一张猫的图片，调节旋钮直到对应“猫”

的灯泡亮为止，也如此一直到1万张猫的图片都输入完为止。

如果我们让机器学习1000种物体的图片，那我们对每种物体图片都要如此操作，让输出端对应这种物体的灯泡最亮。

所以在机器学习中，“训练”

是最耗时的。

在训练过程中，这些训练用的图片我们事先知道是什么内容，或者叫作“标注”

过的图片。

当训练结束后，第二步是测试。

也就是拿一些不在训练集里面的图片让机器辨认，如果机器都能辨认出来，这部机器就算训练好了，可以交付使用了。

一旦训练测试结束，机器的参数集就不改变了，也就是所有的旋钮都固定不动了。

只要是输入训练过的种类，机器都应该能识别出来。

如果一部机器要识别1000种物体的图片，就要至少有1000个输出端（每个输出端对应一种物体）。

假设图片分辨率是100×100=10000像素（很低的分辨率），如果这部机器只有三层神经网络（深度最浅的“深度”

学习网络），输入端和中间层之间，中间层和输出之间的连接就有10000×10000+10000×1000=1.1亿个。

也就是这部机器有1亿多个旋钮。

截至2017年，最大的神经网络已经号称有上万亿的参数，即上万亿个旋钮。

这么多旋钮显然无法用人工去调节。

雾里下山：训练机器模型

幸运的是数学上200年前就有了“自动”

调节旋钮的办法。

这个办法叫作“最陡梯度法”

，或者通俗地叫作“雾里下山法”

。

当我们训练一个机器学习模型时，我们事先知道每一张图片是什么物体（汽车、猫等已经标注的图片），我们输入汽车图片时，要求只有对应“汽车”

的那个灯泡最亮。

在我们调节旋钮之前，灯泡的亮和灭都是混乱的，和我们的要求有很大误差。

这些误差是由旋钮的值决定的。

如果把这些误差画成一幅图像，就像图3.6一样有很多山峰，误差就是山峰的高度，图像的横轴和纵轴就是旋钮的值。

图3.6用“最陡梯度法”

寻找误差最小的“山谷”

图片来源：维基百科。

当我们输入第一张图片时，我们可能站在一个随机的位置，例如某一座山峰的山顶或半山腰，我们的任务就是走到最低的一个谷底（误差最小）。

本章未完，点击下一页继续阅读