第三章 神经网络萃取隐蔽相关性

一秒记住【xiaoyanwenxue】精彩无弹窗免费！

“罗辑思维荐书集锦（套装共24册）（.shg.tw）”

！

第三章神经网络——萃取隐蔽相关性

导读

在了解了机器学习各个流派的方法后，本书的主角“神经网络”

现在闪亮登场。

本章将深入介绍神经网络学习的原理和在商业上应用最多的几种形态，以及它们的适用范围。

有了这些基础，我们才可以真正理解AlphaGoZero是怎样发现神迹般的暗知识的。

对于只想了解AI商业前景的读者，也可以先跳过这一章，读完后面描述机器学习神奇应用的章节后再回来弄懂它是如何工作的。

从感知器到多层神经网络

1943年，心理学家沃伦·麦卡洛克（WarrenMcCulloch）和数理逻辑学家沃尔特·皮茨（WalterPitts）提出并给出了人工神经网络的概念及人工神经元的数学模型，从而开了人类神经网络研究的先河。

世界上第一个人工神经元叫作TLU（ThresholdLinearUnit，即阈值逻辑单元或线性阈值单元）。

最初的模型非常简单，只有几个输入端和输出端，对权值的设置和对阈值的调整都较为简单。

1957年，一个开创性的人工神经网络在康奈尔航空实验室诞生了，它的名字叫作感知器（Perceptron），由弗兰克·罗森布莱特（FrankRosenblatt）提出，这也是首次用电子线路来模仿神经元。

他的想法很简单，如图3.1所示：将其他电子神经元的几个输入按照相应的权重加在一起，如果它们的和大于一个事先给定的值，输出就打开，让电流通向下一个神经元；如果小于这个事先给定的值，输出就关闭，没有电流流向下一个神经元。

1960年，斯坦福大学教授伯纳德·威德罗（BernardWidrow）和他的第一个博士生马尔西安·泰德·霍夫（MarcianTedHoff）提出了自适应线性神经元（ADaptiveLInearNEurons，ADLINE）。

他们第一次提出了一种可以自动更新神经元系数的方法（机器自我学习的原始起点）：用输出误差的最小均方去自动迭代更新神经元权重系数，直至输出信号和目标值的误差达到最小。

这样就实现了权重系数可以自动连续调节的神经元。

自适应线性神经元最重要的贡献是第一个使用输出信号和目标值的误差自动反馈来调整权值，这也为后面神经网络发展历史上里程碑式的反向传播算法奠定了基础。

图3.1感知器的电子线路

这个单层的神经网络也被称为自适应信号处理器，被广泛应用在通信和雷达当中。

霍夫后来加入英特尔，在1971年设计了世界上第一个微处理器Intel4004。

威德罗教授也是笔者20世纪80年代后期在斯坦福大学的博士生导师。

笔者曾经在他的指导下做过神经网络的研究工作。

图3.2是笔者2016年和他讨论神经网络未来发展时的合影，笔者手中拿的那个黑盒子就是他1960年做出的ADLINE单层神经网络。

这个盒子到今天还在工作，美国国家博物馆曾经想要这个盒子做展品，但威德罗教授回答说“我还要用它来教学”

。

图3.2笔者和自己当年斯坦福大学的博士导师，神经网络鼻祖之一威德罗教授的合影

威德罗教授在1962年还提出过一个三层的神经网络（Multi-LayerAdaptiveLinearNeurons，MADALINE），但没有找到一个能够用于任意多层网络的、简洁的更新权重系数的方法。

由于单层网络有广泛应用而多层网络的运算速度太慢（当时的电脑运算速度是今天的100亿分之一），所以在MADALINE之后没有人去继续深入探讨多层网络。

由于缺少对人脑工作模式的了解，神经网络的进展一度较为缓慢，而它进入快速发展期的一个触发点则是医学领域的一个发现。

1981年，诺贝尔生理学或医学奖颁发给了美国神经生物学家大卫·胡贝尔（DavidHubel）、托尔斯滕·威塞尔（TorstenWiesel）和罗杰·斯佩里（RogerSperry）。

前两位的主要贡献是发现了人类视觉系统的信息处理采用分级方式，即在人类的大脑皮质上有多个视觉功能区域，从低级至高级分别标定为V～V5等区域，低级区域的输出作为高级区域的输入。

人类的视觉系统从视网膜（Retina）出发，经过低级的V1区提取边缘特征，到V2区的基本形状或目标的局部，再到高层V4的整个目标（例如判定为一张人脸），以及到更高层进行分类判断等。

也就是说高层的特征是低层特征的组合，从低层到高层的特征表达越来越抽象和概念化。

至此，人们了解到大脑是一个多层深度架构，其认知过程也是连续的。

神经网络学习的本质是大量神经元通过复杂的连接形成记忆。

因为分析简单且容易用电子元件实现，一开始人工神经网络就如图3.3那样由一层一层组成。

其实人脑的神经元连接非常复杂，没有这么一层一层的清晰和有秩序。

本章未完，点击下一页继续阅读