赫布理论

赫布理论（英语：Hebbian theory）是一个神经科学理论，解释了在学习的过程中脑中的神经元所发生的变化。赫布理论描述了突触可塑性的基本原理，即突触前神经元向突触后神经元的持续重复的刺激，可以导致突触传递效能的增加。这一理论由唐纳德·赫布于1949年提出^[1]，又被称为赫布定律（Hebb's rule）、赫布假说（Hebb's postulate）、细胞结集理论（cell assembly theory）等。他如此表述这一理论：

我们可以假定，反射活动的持续与重复会导致神经元稳定性的持久性提升……当神经元A的轴突与神经元B很近并参与了对B的重复持续的兴奋时，这两个神经元或其中一个便会发生某些生长过程或代谢变化，致使A作为能使B兴奋的细胞之一，它的效能增强了。

这一理论经常会被总结为“一起激发的神经元连在一起”（Cells that fire together, wire together）^[2]。但是，这个解释并不完整，赫布强调说，神经元"A"必须对神经元"B"的激发“作出了一定贡献”，因此，神经元"A"的激发必须在神经元"B"之先，而不能同时激发。赫布理论中的这一部分研究，后来被称作脉冲时序依赖可塑性，表明突触可塑性需要一定的时间延迟。^[3]赫布理论可以用于解释“联合学习”（associative learning），在这种学习中，由对神经元的重复刺激，使得神经元之间的突触强度增加。这样的学习方法被称为赫布型学习（Hebbian learning）。赫布理论也成为了非监督学习的生物学基础。

赫布记忆印痕与细胞结集理论

赫布理论解释了神经元如何组成联接，从而形成记忆印痕。赫布理论阐明了细胞集群（Cell Assemblies）的形态和功能：“两个神经元或者神经元系统，如果总是同时被激发，就会形成一种‘组合’，其中一个神经元的激发会促进另一个的激发。”^[1]^:70 赫布同时写道：“如果一个神经元持续激活另一个神经元，前者的轴突将会生长出突触小体（如果已有，则会继续长大）和后者的胞体相连接。”^[1]^:63

高尔顿·威拉德·奥尔波特根据“自联想”(auto-association) 的思路，进一步提出了关于细胞集群的作用，以及它们在形成记忆痕迹中的角色：

如果系统的输入会导致同样的模式重复出现，那么组成这个模式的元素之间的相互关联性将会大大增强。这意味着，其中任何一个元素都会倾向于触发同组的其他元素，同时（以减少权重的方式）抑制组外其他不相关元素。另一个角度来看，这个模式作为一个整体实现了“自联想”。我们可以把一个学习了（自联想）的模式称为记忆痕迹。^[4]^:44

通常认为，从整体的角度来看，赫布学习是神经网络形成记忆痕迹的首要基础。

埃里克·坎德尔在一种称作加州海兔（英语：Aplysia californica）的海生腹足纲动物上关于突触学习机制的研究，进一步表明了赫布理论和这一学习机制的关联。

在脊椎动物的中枢神经系统中进行关于赫布突触可塑机制的实验，要比在海洋无脊椎动物的周边神经系统中难以控制许多。许多关于脊椎动物神经元的长时期突触变化（例如长期增强作用）的实验，都是对脑细胞的模拟而非进行真实的生理学实验。尽管如此，一些关于脊椎动物的脑内突触可塑机制的生理实验，也倾向于符合赫布理论。

公式

在人工神经网络中，突触间传递作用的变化被当作是（被映射成）神经元网络图中相应权重的变化。如果两个神经元同步激发，则它们之间的权重增加；如果单独激发，则权重减少。赫布学习规则是最古老的也是最简单的神经元学习规则。

以下是一种描述赫布学习的公式：

\,w_{ij}=x_{i}x_{j}

其中 $w_{ij}$ 是从神经元 $j$ 到神经元 $i$ 的联接权重， $x_{i}$ 是神经元 $i$ 的输入。注意这是模式学习，每个训练样本都会导致权重改变。在Hopfield神经网络中，如果 $i=j$ 则 $w_{ij}$ 恒为 0（没有神经元和自身相连）。对于二进制的神经元（激发值只能为0或者1），如果它联接的神经元有相同的激发模式，则联接会设定为 1。

另一种表达式为:

$w_{ij}={\frac {1}{p}}\sum _{k=1}^{p}x_{i}^{k}x_{j}^{k}\,$ ,

其中 $w_{ij}$ 是从神经元 $j$ 到神经元 $i$ 的联接权重， $p$ 是训练模式的个数,，而 $x_{i}^{k}$ 是神经元 $i$ 的第 $k$ 个输入。（这是按照时段来进行学习，在所有训练样本都给出了之后再更新权重。）同样的，在Hopfield神经网络中，如果 $i=j$ 则 $w_{ij}$ 恒为 0（没有神经元和自身相连）。

赫布理论有一个变体，称作哈里·克洛普弗理论（Harry Klopf's model），考虑了包括阻断等生理现象，可以再现很多生物学表现，也很容易使用。

概括与稳定性

赫布定理通常可以概括为：

$\Delta w_{ij}=\eta \cdot a_{i}\cdot o_{j}$

$\Delta w_{ij}$ ：由神经元 $j$ 向神经元 $i$ 传递的权重的变化量（即两神经元间的连接强度）

$\eta$ ：学习速率（一个可选的合适的常系数）

$a_{i}$ ：神经元 $i$ 的激活值

$o_{j}$ ：神经元 $j$ 的输出值，也是与神经元 $i$ 相连接的值

例外

尽管赫布模型在长期增强作用中广泛使用，也还是存在一些赫布定理的反例，表明该理论在某些方面过度简化了。其中记录最详细的一个反例，表明了突触的可塑性不仅仅发生在神经元A和B之间，也会影响邻近的神经元。^[5]这是因为赫布学习对于突触的改变，取决于逆向信号（英语：Retrograde Signaling）对于前突触神经元的作用。通常传递逆向信号的化合物是一氧化氮，具有高度的可溶性和扩散能力，常常会影响到邻近的神经元。^[6] 这一类扩散性的突触改变机制，被称作集结学习（volume learning），即使不是对传统赫布模型的挑战，也是一种补充。^[7]

赫布学习对镜像神经元的解释

赫布理论和STDP已经被应用于解释镜像神经元的产生。^[8]^[9] 镜像神经元不仅在个体做某种动作的时候会激发，而且当个体仅仅看见^[10] 或者听见^[11]其他个体在进行类似的动作的时候也会激发。镜像神经元的发现，对于解释为何个体会对他者的动作敏感非常重要。当一个人感知到他人的动作的同时，激活了一套能让自己做出类似动作的行动模式。这套行动模式的激活，可以为知觉提供信息，以便按照自己行动模式来预言他人接下来会做什么。然而，很难解释个体是如何产生既能够对自己的动作做出反应，又能够对于听见或者看见他人的动作做出反应的神经元。

克里斯蒂安·克瑟尔（英语：Christian Keysers）和David Perrett认为，当一个个体在做一个特定动作时，他将会看到、听见、感觉到自己在做这个动作。这些对自我的感觉信号，将会激发这一类动作所对应的视觉、听觉和触觉神经元。因为这些感觉神经元总是会和引起这些动作的运动神经元同时激发，赫布学习机制告诉我们，对应这些感觉的神经元将会激发对应这些运动的神经元。当人们在镜子中看见自己，听见自己喃喃自语，或者模仿别人的时候，同样的过程也会发生。经过多次这样自我感受的经验，联接感觉神经元和运动神经元的突触将会增强，导致某个动作的声音或者图像就可以激发运动神经元，于是镜像神经元就这样产生了。

许多实验都表明了，如果这个刺激和运动模式持续同时出现的话，运动模式可以被特别的声音或者视觉刺激激发。(一些实例请参考 Giudice et al., 2009^[12]) 例如，从未弹过钢琴的人听到钢琴音乐的时候，头脑中和钢琴演奏有关的脑区并不会激活。在4个小时钢琴课里，被试的每一次触键都会和钢琴的声音联系在一起，于是之后再听到钢琴音乐的时候可以激发脑中的运动区域。^[13]这再一次证明了STDP只有在突触前神经元的兴奋导致了突触后神经元的兴奋的情况下才会产生，^[14]而感觉刺激和运动模式之间的联系，似乎也只有在刺激是紧随运动模式而出现的情况下才会形成。

参考文献

^ ^1.0 ^1.1 ^1.2 Hebb, D.O. The Organization of Behavior. New York: Wiley & Sons. 1949.
^ Carla Shatz, Stanford University; The exact sentence is: "Segregation to form the columns in the visual cortex [...] proceeds when the two nerves are stimulated asynchronously. In a sense, then, cells that fire together wire together. The timing of action-potential activity is critical in determing which synaptic connections are strenghtened and retained and which are weakened and eliminated." Shatz, Carla J. The Developing Brain. United States: Scientific American. 1992: 60–67 [2015-07-02]. ISSN 0036-8733. （原始内容存档于2021-05-15）. . Also referenced in Doidge, Norman. The Brain That Changes Itself. United States: Viking Press. 2007: 427 [2015-07-02]. ISBN 067003830X. （原始内容存档于2014-05-31）.
^ Caporale, N., & Dan, Y. (2008). "Spike timing-dependent plasticity: a Hebbian learning rule". Annual Review of Neuroscience, 31, 25-46.
^ Allport, D.A. Distributed memory, modular systems and dysphasia. Newman, S.K. and Epstein, R. (Eds.) (编). Current Perspectives in Dysphasia. Edinburgh: Churchill Livingstone. 1985. ISBN 0-443-03039-1.
^ Horgan, John. Neural Eavesdropping. Scientific American. May 1994: 16.
^ López, P; C.P. Araujo. A COMPUTATIONAL STUDY OF THE DIFFUSE NEIGHBOURHOODS IN BIOLOGICAL AND ARTIFICIAL NEURAL NETWORKS (PDF). - International Joint Conference on Computational Intelligence. 2009 [2015-07-02]. （原始内容存档 (PDF)于2017-02-01）.
^ Mitchison, G; N. Swindale. Can Hebbian Volume Learning Explain Discontinuities in Cortical Maps?. Neural Computation. October 1999, 11 [2015-07-02]. doi:10.1162/089976699300016115. （原始内容存档于2019-12-02）.
^ Keysers, C., & Perrett, D. I. (2004). "Demystifying social cognition: a Hebbian perspective". Trends in Cognitive Sciences, 8(11), 501-507.
^ Keysers, C. (2011). The Empathic Brain.
^ Gallese, V., Fadiga, L., Fogassi, L., & Rizzolatti, G. (1996). "Action recognition in the premotor cortex". Brain, 119 ( Pt 2), 593-609.
^ Keysers, C., Kohler, E., Umilta, M. A., Nanetti, L., Fogassi, L., & Gallese, V. (2003). "Audiovisual mirror neurons and action recognition". Exp Brain Res, 153(4), 628-636.
^ Del Giudice, M., Manera, V., & Keysers, C. (2009). "Programmed to learn? The ontogeny of mirror neurons". Dev Sci, 12(2), 350-363.
^ Lahav, A., Saltzman, E., & Schlaug, G. (2007). "Action representation of sound: audiomotor recognition network while listening to newly acquired actions". J Neurosci, 27(2), 308-314.
^ Bauer, E. P., LeDoux, J. E., & Nader, K. (2001). "Fear conditioning and LTP in the lateral amygdala are sensitive to the same stimulus contingencies". Nat Neurosci, 4(7), 687-688.

扩展阅读

Hebb, D.O. Distinctive features of learning in the higher animal. J. F. Delafresnaye (Ed.) (编). Brain Mechanisms and Learning. London: Oxford University Press. 1961.
D. O. Hebb. HUMAN BEHAVIOR AFTER EXTENSIVE BILATERAL REMOVAL FROM THE FRONTAL LOBES. Archives of Neurology And Psychiatry. 1940-08-01, 44 (2) [2018-04-02]. ISSN 0096-6754. doi:10.1001/archneurpsyc.1940.02280080181011 （英语）.
Bishop, C.M. Neural Networks for Pattern Recognition. Oxford: Oxford University Press. 1995. ISBN 0-19-853849-9.
Paulsen, O.; Sejnowski, T. J. Natural patterns of activity and long-term synaptic plasticity. Current Opinion in Neurobiology. 2000, 10 (2): 172–179. PMC 2900254  . PMID 10753798. doi:10.1016/S0959-4388(00)00076-3.

参见

戴尔原则（英语：Dale's principle）
神经生物学中的重合检测（英语：Coincidence detection in neurobiology）
Leabra（英语：Leabra）（基于局部误差驱动和结合生物学实际算法）
再可塑性（英语：Metaplasticity）
强直刺激（英语：Tetanic stimulation）
突触营养假设（英语：Synaptotropic hypothesis）

外部链接

Overview
Hebbian Learning tutorial (Part 1: Novelty Filtering, Part 2: PCA)

[Hebb_1949-1] 1.0 ^1.1 ^1.2 Hebb, D.O. The Organization of Behavior. New York: Wiley & Sons. 1949.

[2] Carla Shatz, Stanford University; The exact sentence is: "Segregation to form the columns in the visual cortex [...] proceeds when the two nerves are stimulated asynchronously. In a sense, then, cells that fire together wire together. The timing of action-potential activity is critical in determing which synaptic connections are strenghtened and retained and which are weakened and eliminated." Shatz, Carla J. The Developing Brain. United States: Scientific American. 1992: 60–67 [2015-07-02]. ISSN 0036-8733. （原始内容存档于2021-05-15）. . Also referenced in Doidge, Norman. The Brain That Changes Itself. United States: Viking Press. 2007: 427 [2015-07-02]. ISBN 067003830X. （原始内容存档于2014-05-31）.

[3] Caporale, N., & Dan, Y. (2008). "Spike timing-dependent plasticity: a Hebbian learning rule". Annual Review of Neuroscience, 31, 25-46.

[4] Allport, D.A. Distributed memory, modular systems and dysphasia. Newman, S.K. and Epstein, R. (Eds.) (编). Current Perspectives in Dysphasia. Edinburgh: Churchill Livingstone. 1985. ISBN 0-443-03039-1.

[5] Horgan, John. Neural Eavesdropping. Scientific American. May 1994: 16.

[6] López, P; C.P. Araujo. A COMPUTATIONAL STUDY OF THE DIFFUSE NEIGHBOURHOODS IN BIOLOGICAL AND ARTIFICIAL NEURAL NETWORKS (PDF). - International Joint Conference on Computational Intelligence. 2009 [2015-07-02]. （原始内容存档 (PDF)于2017-02-01）.

[7] Mitchison, G; N. Swindale. Can Hebbian Volume Learning Explain Discontinuities in Cortical Maps?. Neural Computation. October 1999, 11 [2015-07-02]. doi:10.1162/089976699300016115. （原始内容存档于2019-12-02）.

[8] Keysers, C., & Perrett, D. I. (2004). "Demystifying social cognition: a Hebbian perspective". Trends in Cognitive Sciences, 8(11), 501-507.

[9] Keysers, C. (2011). The Empathic Brain.

[10] Gallese, V., Fadiga, L., Fogassi, L., & Rizzolatti, G. (1996). "Action recognition in the premotor cortex". Brain, 119 ( Pt 2), 593-609.

[11] Keysers, C., Kohler, E., Umilta, M. A., Nanetti, L., Fogassi, L., & Gallese, V. (2003). "Audiovisual mirror neurons and action recognition". Exp Brain Res, 153(4), 628-636.

[12] Del Giudice, M., Manera, V., & Keysers, C. (2009). "Programmed to learn? The ontogeny of mirror neurons". Dev Sci, 12(2), 350-363.

[13] Lahav, A., Saltzman, E., & Schlaug, G. (2007). "Action representation of sound: audiomotor recognition network while listening to newly acquired actions". J Neurosci, 27(2), 308-314.

[14] Bauer, E. P., LeDoux, J. E., & Nader, K. (2001). "Fear conditioning and LTP in the lateral amygdala are sensitive to the same stimulus contingencies". Nat Neurosci, 4(7), 687-688.

[1]

[2]

[3]

[4]

[5]

[6]

[7]

[8]

[9]

[10]

[11]

[12]

[13]

[14]