第26章
眼前庭反射是另一个感知原动坐标的例子。生物藉此神经排列，通过与头部运动方向相反的眼球的短弛像运动，从而把影像稳定在视网膜上。在此神经系统中，涉及两种神经结构，它们可以由中枢神经系统固有的不同的坐标系来代表。首先，我们必须分析耳前庭器的半圆通道，每一边有3个通道，可由三维坐标系来代表。其次，每一个眼球都有6条外眼肌，这相应于六维坐标系。因此，眼前庭反射感知原动坐标，用几何方法由三维（共变）向量的张量变换来描述。这种数学框架可以用来计算任何的由一定前庭输入造成的眼肌激活。
在神经元和神经网络水平上，人工单元的网络用来模拟和考察大脑组织。这些单元被假定在0和1之间变化。每一单元接收来自其他单元的信号，其间通过突触以不同的权重联结起来。接受和发送表示是值的有序集合，输出单元是适当激活了的。数学上，这种程序可以解释为作为证据的某种输入对于作为功能值的输出的一个映射。功能规则是由权重的排列所决定的，它们依赖于神经网络的拓扑。
在大脑中，神经元常常构成了作为输入层的群体（图4．6）。这些细胞的轴突发送到第2层神经元。在这第2层细胞的轴突又可以投射到第3层细胞群体上，如此等等。在所有输入单元中的自发激活的集合体是作为矢量的输入刺激的网络表示。这种输入矢量及其活化层次向上面的中间层次传播。结果是一组活化层次，它们由输入层的输入矢量，以及从输入单元的分枝末端到中间层那些关联权重所决定。这种中间层的活化矢量向上传播到最高的单元层，在3层网络的情况下产生了一个输出矢量。这个输出矢量由中间层的活化矢量和处于中间单元到输出单元的分枝的终端的关联权重决定。
一个仅仅具有输入层和输出层的两层网络是一种简单的刺激-反应图式，具有可观测的、可测量的输入和输出。在3层网络的情况下，中间层的单元及其权重常常难以直接测量，而只是被假设为某种处于黑箱中的隐藏机制。因此，它们被称为隐含单元。
当然，真实的神经系统显示出多得多的单元和层次。例如，对于人来说，大脑皮层的结构包含了至少6层各异的神经元。顺便指出，图4．4所示的小脑的神经矩阵的输入对于输出的映射，可以等价地由具有输入和输出的两层神经网来描述。3层神经网络等价于顺序相连的两个神经矩阵。但是这种多层的网络不可能推广到整个大脑和神经系统，因为在实际大脑中细胞群体往往在给定层次中表现出广泛的细胞与细胞的关联。这需要在某些不同的模型中加以考虑。
按照复杂系统探究方式，特定层的神经元可以被解释为态空间轴线，代表了该层可能活性状态。状态的发展，即其动力学由轨迹来说明，轨迹可由该特定网络的某种学习过程所引起。
例如，感知可以用神经网络的矢量处理来解释。最初，来自外部世界的对于输入神经元的刺激样品（例如，作用于眼睛的电磁光信号、颜色，或者作用于耳朵的声波），它们在神经网络中被加工，产生出某种输出矢量，代表了例如外部世界的视觉或嗅觉图像。但是神经网络必须学会在大量的输入信号中区别和识别出正确的形式、颜色、声音等等。
学习程序只不过是一种对于众多极重的调节，以获得所希望的输出矢量（例如感知）。学习程序可以由数学算法来加以模拟，这是人工智能研究中的重要课题（参见5．3节）。它们在每一神经层次上（也是由矢量来代表）产生出权重构型。在任一给定的时间，突触值的完整集定义了一个权重空间，在每一轴线上的点说明了每一特定权重的大小。一般来说，学习意味着使得最适解（感知、思想等等）和不适解之间的错误和差异最小化。因此，学习过程可以形象表示为权重空间的轨迹，轨迹从初始的随机集合位置出发，到达最终的最小误差位置（图4．7a）。这种建模的关键意味着，可以通过算法程序使某个函数具体化来获得网络中的权重。业已假定，任何可表示的世界都可以通过权重的构型在网络中得到表示。
图4．7a示意了学习过程中突触权重空间的轨迹。这个空间进行了简化，只有3个权重，代表了3层网络中突触的所有权重值的组合（图4．6）。图4．7示意了相应的活化矢量空间，其轴线是3层网络中的隐含单元（图4．6）。
权重空间和活化空间是类似的空间，因为代表类似事物类似矢量由位置近似来反映。权重构型把类似的事物集合在一起，考虑了权重空间可能对于事物之间的细微差异的敏感性。因此，在活化空间，我们可以区分出原型矢量，它们代表了具有细微差异的类似事物，细微的差异由其到原型矢量的距离来度量。在观察和行为的宏观水平上，这些原型矢量可以代表特定的范畴，如树木、植物、果实、人物等等，它们都有或多或少的相似性。在复杂系统动力学的框架中，原型矢量可以被解释为点吸引子，把态空间划分为若干个区域。
类似的原动行为（诸如抓拿、行走等等）用原动态空间的类似轨迹来表示。正如我们看见的，学习意味着权重依据某种算法程序重新构型。关键性问题在于：成千上万的细胞和突触如何知道它们在什么时候应该变化其状态而不需要小妖的指引？
唐纳德·霍布在他的著名的《行为组织》（1943）一书中提出，学习必须被理解为一种复杂脑模型中的自组织。如同生命有机体的进化，组织“妖”的信念可以去掉，用复杂系统探究方式的自组织程序来代替。历史上，这是首次清楚地提出了生理学的突触变化的学习规则。霍布在关于复杂的脑模型中使用了“联结主义”一词。他引入了突触概念，后来被称为“霍布突触”。如果两个神经元同时发放，两个神经元之间的联结就得到加强。
当细胞A的轴突充分靠近细胞B使之激发，并可以反复地或持续地向其发放，在细胞之一或两者之中就发生了某种生长过程或代谢变化，使得A向B的发放效率也就增加了。
“霍布规则”在1949年还只能是一种假设的实体。今天，它的神经生理学上的存在得到了经验确证。霍布规则并非一种精确的数学陈述。我们在后面还将看到可能霍布类型的联结主义学习规则。霍布规则的一种简单的数学表述要求，神经元A映射到神经元B的权重WBA的变化△WBA正比于A的发放速率vA和B的发放速率vB的平均值，即△WBA＝εUAUB，其中ε是常数。
在霍布类型的规则主张的图式中，强化神经元的前提倾向于是“毋需［外部〕教师”。在此意义上，它是一种自组织的方法，使得神经元发放与成群的刺激模式越来越好地关联起来。霍布意识到，大脑运用相互联结的神经元的整体模式来表示某种事物。他明确地运用了“细胞集合体”一词，这对于现代神经科学是关键性的。激活的细胞集合体可以相应于复杂的感觉或思维。哲学上，霍布的细胞集合体的思想使我们想起休谟的联想概念，但他的联想只具有脑心理学上的基础而没有脑生理学的基础。
霍布的生理学概念是如何溶进现代的神经网络复杂系统之中的呢？这个联想网络的基本概念要求，一个输入矢量与输出矢量用某种变换而“联结起来”。在数学上，两种矢量类似性可以由其内积来度量，内积即由两个矢量相乘，其中的元素乘以元素，然后将这些乘积加起来。在几何上，内积是正比于矢量之间角度的余弦。在两个矢量总相等的情况下，角度为零，这意味着相似性是完全等同的。
因此，所贮存的原型矢量（例如典型树的原型图）与输入矢量（例如对于特定树的感觉）之间的相似性，就可以在联想网络中由其内积来计算。原型矢量假定贮存于联结网络中的输入和输出的权重矩阵之中。图4．8a示意的网络中，有代表着输入元素的水平输入线、垂直输出线和联结的权重（这里采用二进制，空心圆圈为零，实心圆圈为1）。
如果一般地，输入矢量（xj）与输出矢量（yj）通过线性变换从yj＝EWijXj联结起来，其中Wij是贮存的权重矢量，于是我们就获得了一种简单的线性联想子。这种联想网络，能够对于代表某种范畴例子的矢量进行分类，这种范畴是由所贮存的原型矢量实现的。对于动物的生存，这个任务实际上是关键性的。在现实中，种种或多或少的类似的感觉（例如怀着敌意的动物）必须进行鉴别并归于某一范畴。
某一种联想网络可以进行矢量完善或矢量校正。所谓的自动联想网络可以产生一种输出，使之在仅仅给出贮存矢量的一部分作为输入时，尽量地接近预先贮存的矢量。在现实中有噪声的（例如一个人的图像），必须根据所贮存的图像来加以完善。一个霍布类型的规则，可以通过加强在神经元之间的相关活性程度的关联权重来完成这一任务。
一种增加这样的复杂网络能力的方法是，对于输出单元引入非线性的阈值。线性的联想网络（例如图4．8a）具有前向反馈拓扑，信息从输入单元流向输出单元。