第三章 神经网络萃取隐蔽相关性（第4页）

我们此时相当于在大雾中被困在山里只能看见眼前的山坡，一个最笨的办法就是“最陡下降法”

：站在原地转一圈，找到一个最陡的下山方向往这个方向走一步。

在这个新的位置上，再转一圈找到最陡的下山方向再走一步，如此循环，一直走到山脚为止。

在“最陡下降法”

中每次转圈找最陡下山方向相当于用误差函数的偏微分方程求梯度。

简单地讲，旋钮的每一步的调节值是可以算出来的。

这样我们根据输出的误差一步一步地算出旋钮的调节值，直到满意为止。

这种根据误差回头调节旋钮的方法也叫“反向传播算法”

，意思是用输出误差一层一层地从输出端向输入端把各层的权重系数算出来。

AlphaGo的“上帝视角”

有了上面的基础，我们现在就可以理解为什么AlphaGo这么厉害。

围棋棋盘有19×19=361个交叉点，每个交叉点可以二选一：白子或黑子。

这样所有的摆法就是2，或者10。

人类2000年来一共保留下来的围棋残局中盘大约3000万个。

人类下过的棋局相当于大海里的一滴水（即使剔除那些明显没有意义的摆法）。

一位棋手即使每天下2盘棋，50年内天天下，一生也只能下36500盘棋。

图3.7是一张“雾里下山”

的示意图。

下棋的终极目标相当于在群山中找到最低的谷底（对应于最理想的走法）。

如果所有可能的走法是绵延几千里的群山，人类棋手2000年来就相当于一直在同一个小山坳里面打转转。

第一位棋手偶然的棋路会影响他的徒弟，以后的徒子徒孙都始终在这个小山坳附近徘徊。

而机器学习像个“神行太保”

，以比人快百万倍的速度迅速扫遍群山，很快就能找到一个远离人类徘徊了2000年的更低的山谷（可能还不是绝对最低，但比人类徘徊处低）。

这也是连棋圣聂卫平都连呼“看不懂”

AlphaGo棋路的原因。

（见图3.7）

图3.7机器学习可以迅速扫过群山找到最低处

这个原理可以用于解决许多类似的问题。

这类问题的特点是变量非常多，可能解是天文数字，例如经济和社会决策、军事行动策划等。

局部最优：没到山底怎么办

“雾里下山法”

会遇到一个问题，就是会走进一个不是最低的谷底而且再也走不出来了。

用一维函数能清楚地看到这个问题。

图3.8是有两个“谷底”

：A点和B点的一维函数。

当下山走到A点时，只要每次的步伐不是特别大，不论往左还是往右再移动，总是会回到A点。

这在数学上叫“局部最小值”

，而B点才是“全局最小值”

。

图3.8有两个谷底的一维函数

本章未完，点击下一页继续阅读