3.2 早期感知机模型

弗兰克·罗森布拉特(Frank Rosenblatt)在1957年发表了一篇描述最早的神经元模型——感知机模型的论文[1]。由于现代电子计算机在当时尚处于雏形期,弗兰克描述的感知机是用电子电路设计的机器,而不是现代意义上的算法或者计算机软件程序。论文中还给出了一系列电路设计图,用来实现感知机的计算功能和学习功能。

弗兰克的感知机包含3个部分:感受器(Sensory System)、连接器(Association System)和响应器(Response System)。感受器包含若干输入单元,可以将视觉或者声音等各种信息转换为电信号,与连接器单元建立兴奋或者抑制连接。连接器单元可以累加输入信号,当信号超过一定阈值时就产生一个电信号输出到响应器单元。响应器单元累加来自连接器的信号,当超过一定阈值时就触发显示或者打印动作,作为机器的输出。同时,响应器单元可以抑制其他响应器单元或者连接器单元,从而实现互斥的输出,只有具有极大值的响应器单元才会被激活并产生输出。

感知机的学习方式类似于神经系统的赫布法则(Hebbian Rule)。赫布法则是一个神经生物学理论,它解释了生物神经元在学习过程中发生的变化,描述了神经突触可塑性的基本原理。神经突触连接的两个神经元重复传递刺激信号,可以导致突触连接的性能增强。当某个神经元A的轴突与神经元B很接近,而且它们总是同时激活时,这两个神经元就会发生某些生长过程或者代谢变化,导致神经元A能使B兴奋,也就是说从神经元A到B的突触连接被建立或者增强了。赫布法则可以解释生物神经网络通过反复接收同一组刺激来学习某种模式的过程。如果输入刺激总是导致一组神经元同时被激活,它们之间的连接就会大大增强。于是,当刺激其中一个神经元时,另一个神经元也会被激活,而不相关的神经元活动将受到抑制。神经网络通过这种方式就学习到了刺激中重复出现的模式。弗兰克的感知机就是通过这种方式学习输入和输出之间的联系的。

在弗兰克的感知机中可以训练的参数是连接器单元的输出电压,当连接器单元两端的输入模式和输出模式同时被激活的时候,连接器的输出就增强一些,这样输入和输出模式就可以被关联起来。当相同的输入模式再次出现时,对应的输出单元就有更大的概率被激活。

当时人们对这种能够进行学习的机器寄予厚望,弗兰克在论文中构想这个模型不仅可以处理瞬时输入,甚至可以拥有记忆,能够处理连续的输入,感受器单元可以接收诸如图像、声音等各种类型的信号。人们认为在此基础上可以构建出能够行走、读写、具有意识、能够自我复制的机器人。然而,后续的理论研究打破了人们的幻想,人们发现感知机的能力仅仅局限于解决线性可分问题。