人工神经网络和生物神经网络比较
今天我们主要讨论一件事：人工神经网络是否全面模拟了生物神经网络，或者更狭隘一点，是否模拟了人类大脑皮层的工作机理？
先告诉答案，两者都是否定的。我个人觉得，人工神经网络只是借鉴了部分生物神经网络，只有一小部分共同点，甚至称不上模拟。我们一起来看看，为啥答案是否定的。
既然是简单比较，我们只着眼于最基本的和智能相关工作机制，而不论其他。
首先，我们要先纠正一个错误的观点，神经系统就是大脑。人类的神经系统非常复杂，整体上由中枢神经系统和周围神经系统组成：
- 中枢神经系统：（Central Nervous System，CNS）包括大脑和脊髓；大脑是主要的控制中心，负责处理感觉信息、思维、情感和行为。脊髓是连接大脑与周围神经系统的桥梁，负责传递信息并控制身体的运动。
- 周围神经系统：（Peripheral Nervous System，PNS）包括所有在中枢神经系统外部的神经组织；负责将感觉信息传递到中枢神经系统，并将中枢神经系统的指令传递给身体的各个部分。
为了方便解说，我们用 ANN (Artificial Neural Network) 代表人工神经网络，BNS (Biological Nervous System) 代表生物神经系统。我们将从各个方面来比较两者。
生物神经网络的工作机理研究
科学家对生物神经系统的研究很早就开始，并于1940年代取得了一些进展。1943年，美国心理学家麦克洛奇（McCulloch）和数理逻辑学家皮兹（Pitts）合作建立了MP(McCulloch-Pitts Neuron Model)数学模型，开创了人工神经网络研究这一崭新领域。1949年，心理学家Hebb提出了突触联系强度可变的赫布规则。这两个研究揭示了生物神经元的基本工作原理，也是人工神经网络的理论基础和灵感源泉。
生物神经元基本工作方式如下：
- 树突结构：生物神经元具有多个树突，每个树突都可以接收到来自其他神经元的输入信号。
- 突触传递：这些信号在神经元内部会被综合起来。突触间的连接强度（即突触权重）决定了不同输入信号的影响程度。
- 阈值和动作电位：一旦综合后的输入信号达到了神经元的激活阈值，神经元就会产生动作电位，并传递到轴突末端。
- 神经递质释放：动作电位通过轴突传播到轴突末端时，会触发释放神经递质的过程，这些化学物质可以影响其他神经元的活动状态，进而影响整个神经网络的行为。
计算机科学家，也就是人工智能专家由此受到启发，开始了他们的自由发挥。
- 1960年代更完善的神经网络模型被提出，其中包括感知器、自适应线性元件、适应谐振理论（ART网）、自组织映射以及认知机网络等等。
- 1982年，John Hopefiled 提出了Hopfield神经网络模型，首次将能量函数(Lyapunov函数)引入其中，他用一组非线性微分方程建构神经网络,并给出了网络稳定性判断。
- 1985年，出现了采用统计热力学模拟退火技术的波耳兹曼模型，保证了整个系统能够趋于全局稳定点。
- 1986年,Rumelhart、Hinton、Williams共同发展了反向传播算法，解决了模型的学习问题。
- 1988年，Linsker对感知机网络提出了新的自组织理论，并在香农信息论的基础上形成了最大互信息理论，随后Vapnik等提出了支持向量机和VC(Vapnik-Chervonenkis)维数的概念。
- 1991年，哈肯把协同引入神经网络，在他的理论框架中指出认知过程是自发的，并断言模式识别过程即是模式形成过程。
- 1994年，廖晓昕发展了细胞神经网络的数学理论，通过拓广神经网络的激活函数类，给出了更一般的时滞细胞神经网络(DCNN)、Hopfield神经网络（HNN）和双向联想记忆网络（BAM）模型。Hinton等人于2006年提出的深度学习算法，它本质上是构建含有多隐层的机器学习架构模型。
这一系列我们可以统称为生物神经网络衍生算法。
共同点
首先我们来讨论一下这两种神经网络的一些共同点。
- 采用了神经元的概念，使用激活函数来模拟神经元的输出
- 在人工神经网络里突触被抽象为带权重的输入
- 连接成网络，有分层结构
- 大规模分布式的而不是冯诺依曼方式的存储和处理方式，突触的连接和权重既是是知识，也是程序。
- 训练过程都是渐进的，而不是一次性的编码或编程。
接下来我们开始讨论它们之间的差异。
神经元的不同点
现在我们来看一下两种系统在神经元上的的不同点。
- 人类对神经元和整个系统的工作机理的研究还在继续，我们无法肯定我们已经发现其中的全部奥秘，更无法来模仿。
- 人类神经元的电信号编码方式二进制的脉冲，即0或1，MP模型就是布尔模式的 – 你没有听错，是二值逻辑，更像一台简单的二进制计算机。而我们现在所有的模型，从最简单的感知机到复杂的Transformer，都是基于实数的。
- 生物神经元的输入由三部分组成，从其他神经元来的电信号，化学信号，神经元细胞内的信号（兴奋，抑制类型，这里可以类比为激活函数），输出也是三部分，电信号，化学信号和改变自身状态。而人工神经元只有电信号。
- 神经元内部是通过电信号传递，即动作电位。动作电位沿着神经元的轴突传播，最终到达轴突末端。
- 神经元之间是通过突触递质(化学信号)释放和接收来完成信息传递。
- 生物神经信号有兴奋和抑制类型，在MP模型中，抑制性输入是那些对决策产生最大影响的输入。人工神经元中没有这些。
- 人工神经元相对比较单一，虽然激活函数可以部分模拟神经元，但是神经元底层的编码能力还未被全面认识。生物神经元的形态有非常大的差异，这些差异代表了不同功能。比如有的神经元可以对一定间隔的信号产生反应。
网络结构
讨论了两种系统的神经元的差异，我们再从网络结构上看看他们的差异。
- 在人工神经网络中，专家们已经发现了很多有趣并且有用的网络结构，这些结构有明显的层次结构；也发现并理解了一些带有随机连接的网络，但也只是限制在一个很小的范围内。生物神经网络的结构要复杂和精细得多，随着生理神经学的进展，很多新的网络结构被发现，并启发了人工智能专家，比如最近的很火的注意力机制的灵感来自人类的视觉系统。
- 在人体尺度上，生物神经系统还存在更复杂的结构，比如大脑皮质的分层体系结构，脑区域内、区域间的前馈和反馈连接，以及多层脑构建块的模体等等，还有中枢神经系统和周围神经系统之间的结构等等。在这些方面，人工神经系统基本是空白，等待着人们的研究和开发。
- 人工神经网络模型是固化的，一旦完成设计，能够修改的只有权重，偏置等少数内容。而整个生物神经系统具有高度的可塑性，它既有出厂设置，也会在生长发育和学习过程中不断调整。
- 生物神经元具有可塑性，即它们可以通过经验和学习形成新的突触或调整现有的突触连接。这种可塑性包括长期增强和长期抑制。
- 大脑区域之间并非是完全不相关的功能模块，当一个区域受损时，大脑的其他区域会学习并实现该受损区域的功能。
功能上的差异
现在让我们再从功能角度来聊一下。
- 人工神经网络模型一般只是针对某个特定功能，比如视觉识别，语言模型等等。而人类的大脑和神经系统，是一个能够协同工作的巨大系统，涵盖智能和机能控制领域。
- 目前比较成功的人工神经网络模型只涵盖了大语言模型，视觉识别，听觉识别等少数方面。这些只是人类智能表层的部分，而且其实现效果呈现出一种机器的扭曲感，只能作为辅助，而无法独立使用。
- 简单一句总结，就是我们离通用人工智能，还非常遥远，即便在某个领域中，也还未达到这个程度。
训练和学习
最后从模型的学习和使用角度来看一下。
- 人工智能网络模型的训练是通过反向传播机制实现的。生物神经系统的学习目前尚未完全被揭示，但肯定不是反向传播机制。
- 人工智能网络模型的学习是极其低效的。而生物神经系统的学习是非常高效。
- 首先，机器训练数据必须按输入的要求，进行清洗和整理，这需要花费大量的人工成本和时间，而人的学习，只需要通过感官进行。
- 其次，机器训练必须准备大量数据，而人的学习，只需要少量数据，而且很多时候，大脑会通过其他方面的知识，自动完成对新领域的学习，这类似于人工智能中的迁徙学习。人类学习是举一反三，而机器是举三千反0.9。
- 机器训练前还需要对模型进行特定的初始化，而整个神经系统的初始化在人体的胚胎阶段就已经完成，之后再也不需要。
- 机器训练需要通过使用同一批数据一次又一次的迭代，才有可能达到训练效果。而生物神经系统的训练非常高效，一份数据，教一次即可。
- 机器的训练和使用是极其耗能的。一块 8GB VRAM 的 RTX 4060 平均游戏功耗100w/h，一天耗电2.4度，基本上玩不了任何大模型，一个大模型训练耗电多少？人太穷，我无法想象。而人脑每天消耗大概 400 大卡的能量，相当于200克米饭，或者0.46度电，而且这个能耗基本恒定，你用不用脑都这个消耗，否则只要多动动脑就可以减肥，多妙啊。
需要指出的是，现在已经有很多研究人员，开始深入研究生物神经系统的学习机制，并尝试在人工神经网络中重现。
我们最后来总结一下：
人工神经网络和生物神经网络有些相似之处，因为前者借鉴了后者的部分工作原理，但前者不是后者的模拟，而是两种几乎不同的对智能的实现途径。