第三章 神经网络萃取隐蔽相关性（第6页）

例如一张图的像素是1000×1000=1000000，如果拿一个1000×1000像素的模板去比较，计算量大约是1000000×1000000。

如果这个三角形的大小是10×10，我们用10×10“模板滑动法”

，计算量只要10×10×1000000，是原来的万分之一。

图3.12深度学习神经网络学习得到的不同层次的特征

图片来源：维基百科。

机器要处理的信息有些是空间信息，例如图片，有些是时间信息，例如语音。

针对不同的信息，神经网络的结构不同。

最常见的有两种，第一种是处理空间信息的卷积神经网络（ConvolutionalNeuralNetwork，CNN），第二种是处理时间信息的循环神经网络（RecurrentNeuralNetwork，RNN）。

下面我们一一介绍。

化整为零的卷积神经网络

“卷积”

这个词什么意思待会咱们再讲，但现在可以告诉你的是，目前人工智能和机器学习制造的奇迹，从下围棋到自动驾驶再到人脸识别，背后全是卷积神经网络。

能知道卷积神经网络的工作原理，你就和周围大部分读了几本人工智能的书的人不是一个档次了。

虽然大部分人不会从事人工智能的专业工作，但卷积神经网络解决问题的思路会让我们拍案叫绝。

第一个提出卷积神经网络的是前面说的神经网络教父杰弗里·辛顿教授的博士后学生，一位叫岩拉孔（YanLeCun）的法国人，现在任Facebook（脸书）人工智能研究所主任，和辛顿同为神经网络四大天王之一。

降低运算量就是降低成本

神经网络每一层的每一个神经元都和后面一层的每一个神经元相连接。

如果第一层有1万个神经元，第二层也有1万个，这两层之间的连接就有1亿个。

如果像微软那个一举超过人脸识别图像能力的ResNet（深度残差网络）有152层，这些连接就有151亿个。

也就是说我们要调整的黑盒子上有151亿个旋钮。

为了识别10种动物，要给训练机器看10万张动物图片，一张图片就要算151亿次乘法和加法，10万张至少是1500万亿次运算。

这才是识别10种动物的训练运算量，如果要训练识别1万种动物呢？用今天的最快的CPU（电脑中央处理器）或GPU（图形处理器），也要算几个月甚至几年。

对计算量要求更大的是识别，识别一张图片要算150亿次不难，但Facebook上每天上传的何止几亿张照片？降低运算量就意味着降低成本。

降低运算量的第一招就是把问题分类，如果只处理某一类问题，针对这些问题的共同特点，就有可能简化算法。

我们知道，人从外界获得的信息90%以上是视觉信息，视觉信息主要是图像，视频也可以分解成快速闪过的图像。

那图像有什么特点呢？一幅图像的信息量很大，但不管是风景还是人物，画面上总有大部分区域没有什么变化，像天空。

引起你注意的东西往往都是一小块，例如人的眼睛、天空中的鸟、地上的花。

这个叫作图像中信息的局域性。

图像的第二个特点是可以分解为更简单的元素，例如风景分解为天空、大地、植物、动物，人物分解为五官。

卷积神经网络就是利用图像的以上两个特点进行了大幅度的运算简化。

以人脸识别为例，要识别一个人，先要抓住他的特征，比如浓眉大眼高鼻梁。

第一步就是把五官找出来。

其实警察抓犯罪嫌疑人早就用了这一招。

警察局的画师会问目击者犯罪嫌疑人的性别、年龄、身高、种族等，然后问目击者犯罪嫌疑人的五官长什么样，目击者能描述的五官种类非常有限，大眼睛、小眼睛，最多加个单眼皮、双眼皮、高鼻梁、塌鼻梁，根据目击者的描述画师画出一幅人脸，然后目击者再说眼角朝下，没这么大，画师再不断改，直到目击者觉得和记忆基本相符。

人脸那么复杂根本无法用语言描绘，但如果变成五官的组合描绘起来就简单多了。

假设每个五官都能分10种，就能组合出1万种脸来，再加上年龄、性别、种族就能组合出几十万张脸，这样把从70亿人中找一张脸的任务就分解成了从10种眼睛中找出一种眼睛，再从10种鼻子中找出一种鼻子这样简单得多的任务。

卷积神经网络是怎样工作的

卷积神经网络就是用的警察局这一招。

假如我们现在要从分布在北京大街小巷的摄像头的视频中发现100个重要的犯罪嫌疑人，第一步是用这些犯罪嫌疑人的已有照片来训练机器。

训练的第一步就是要从这些照片中提取五官的特征。

本章未完，点击下一页继续阅读