第三章 神经网络萃取隐蔽相关性（第11页）

很委屈地说：我怎么知道该怎样判断？AlphaGo寻思说：“人类2000多年下了那么多盘棋，咱能不能先学学？”

这时候AlphaGo祭出了大法器，就是我们前面讲过的卷积神经网络。

卷积神经网络最适合处理图像，经过大量图片的训练后，你给它个新的图片，它告诉你是猫、狗、汽车的概率分别有多少。

对于下棋，问题转化成：给个中盘，要判断哪种走法赢的概率最大。

在人类下过的棋局中，每个中盘都对应着一个走法。

现在可以把一个中盘看成一幅图像，把对应的走法看成与这个图像对应的物体。

现在找到中盘最好的走法就相当于判断这幅图像最像哪个物体。

那我就拿人类下过的棋局来训练AlphaGo里负责走子的卷积神经网络——决策网络。

现在把3000万个人类走过的中盘输入给决策网络，调整决策网络上的旋钮，一直到这个网络的走法和人的走法类似。

现在AlphaGo已经是七八段的水平了，但还打不过大师，为什么？虽然现在“侦察兵”

每一步都是按人类的走法，但“侦察兵”

的每一步只是替对方随机选一个。

如果能让对方的选择也按人类的走法，这条路对弈下去就更逼真了。

AlphaGo这时候拔了身上一根毫毛，吹口仙气儿，“变！”

又“变”

出一个一模一样的AlphaGo。

哥俩都是八段，再大战百万回合，又摸索出很多原来人类没有探索过的捷径，又产生了很多数据，继续训练决策网络，没多长时间就打败了李世石，再练一阵子，在网上打出Master的旗号，横扫天下高手，无一失手，直至把柯洁挑下马。

前面介绍的无论是卷积神经网络还是循环神经网络都需要大量的训练数据，这也叫“监督学习”

。

在“监督学习”

中通常有唯一或明确的答案，猫就是猫，狗就是狗。

但生活中还有一类问题是没有明确答案的。

例如我们学习骑自行车，没有人能说清楚正确姿势是什么，不管你姿势多难看，骑上去不摔倒就是对的。

这类问题的特点是答案不唯一但知道结果的对错。

这种通过每次结果的反馈逐渐学习正确“行为”

的算法就叫“强化学习”

。

在强化学习算法中有一个“奖惩函数”

，不同的行为会得到不同的奖惩。

譬如我们在楼里打电话时，如果信号不好，我们就拿着手机，边走边问对方“能听到吗？”

。

我们得到的信息并不能直接告诉我们哪里信号最好，也无法告诉我们下一步应该往哪个方向走，每一步的信息只能让我们评估当前的状况是更好还是更差。

我们需要走动、测试，以决定下一步应该往哪儿走。

AlphaGo的随机树搜索就是强化学习，通过派出“侦察兵”

来测试某种走法的赢率。

赢了加一分，输了减一分，这就是强化学习中的奖惩函数，存储各种走法输赢积分的网络也叫“价值网络”

。

哥俩对战就是站在人类肩膀上的强化学习。

所以AlphaGo是监督学习和强化学习的混合方式。

在AlphaGo的学习过程中，人类的3000万中盘仅仅把它领入门而已，进步主要靠哥俩自己厮杀。

本章未完，点击下一页继续阅读