2023年1月,北京大学心理与认知科学学院吴思教授与清华大学社会科学院心理学系的刘嘉教授等人在“AIofBrainandCognitiveSciences:FromthePerspectiveofFirstPrinciples”一文中提到,大脑的基本原理为改进人工智能提供了最重要的参考。
近期,追问邀请了四位认知神经科学领域的青年学者基于这篇重要论文对“人工智能如何向人类智能学习?”的话题进行了解读,从吸引子网络、临界性、随机网络、稀疏编码、关系记忆、感知学习六个方面与读者一起揭秘大脑的基本原理。
本次解读将分上中下三篇,此为中篇。
随机编码:大脑编码信息的基础?自从Hubel和Wiesel首次发现神经元对条状方向的调谐性之后[1],神经生理学家便一直致力于寻找针对单一特定刺激具有清晰的调谐曲线的神经元。然而许多非线性混合选择性神经元的出现使得他们经常陷入混乱[2-7],这些神经元同时、非线性地反映不同类型的特征。为了理解这一现象,科学研究逐渐转向了对神经元的群体分析:群体编码(populationcoding)理论认为每个神经元在一个维度中活动,而一群神经元的活动则组成一个高维状态空间,引入这样一个高维空间后,更多的信息便可以被更差别性的编码;增加了表征维度后,原本线性不可分的表征变得线性可分了[8],也让这些信息便于被大脑下游结构进一步处理。
另外,为了解释混合选择性神经元可以同时参与不同信息编码的特性,需要综合考虑多样性[3]与混合选择性,同时还要保持尽可能的简洁性,一些研究人员提出随机网络可能在支持多样混合性的大脑环路中起作用[9-15]。在随机网络中,神经元突触连接的权重符合某些随机分布,它们将信号混合后作为下游神经元的输入,多样性便来自于这些连接的随机性;而在每个神经元内部,输入会经历非线性映射(图1)。通过这种方式,神经元便具有非线性混合选择性,越来越多的生物学证据也开始支持这一观点。
▷图1:随机网络示意图。随机网络中各个节点的链接数量大致相似,在度分布图(degreedistributiongraph)上形成钟形曲线。图源:参考文献43
在随机编码理论中,神经元群体构成的神经空间所能拥有的最大维度是神经元总数,为了增加维度,在完全随机连接的极端情况下,连接后的神经元群体应该比连接前的神经元群体更大。正因为此,网络应该具有发散性的架构。一方面,人们在不同物种的生物大脑中观察到这样的发散网络构架[16];另一方面,自上世纪九十年代早期以来,人工智能(AI)中就已经有了这样的观点[17]。
AI中的随机网络是指某些权重随机初始化并在训练过程中不被调整的一类人工神经网络。最初这些网络进入人们的视野,一是因为它们易于分析,二是因为它们的训练速度要快得多。然而,研究人员很快发现随机网络的表现出奇地好[18];在短期预测、图像识别和生物医学分类等应用中,它们的测试准确率接近完全训练的模型[15]。受到这些观察结果的启发,研究人员研究了各种随机网络的特性。
其中,前馈网络和类储层的递归网络这两类网络得到了广泛的研究。在前馈网络中,输入神经元通过随机权重连接到一个规模更大的隐藏层。在储层计算中,输入神经元连接到一个内部神经元组成的储层中,这些内部神经元之间随机连接。前馈网络的例子包括随机向量函数链接网络、径向基函数链接网络、带有随机权重的前馈网络、无反向传播算法、权重无关网络和随机卷积神经网络。储层计算中的例子包括回声状态网络、液体状态机和深度回声状态网络。
所有这些模型都有三个共同的特征:
(1)隐藏层或储层创建了输入的高维表征[19],
(2)连接到输出神经元的权重需要进行线性优化[17],
(3)网络性能对不同随机权重的实现具有稳健性[20]。
从这些观察中可以得出的结论是,影响任务性能的是训练后的人工神经网络的架构,而不是精细调整的连接权重。更有趣的是,甚至有进一步的研究表明,架构本身甚至也可以是随机的:由随机图生成器创建的架构在ImageNet上显示出良好的分类准确率(随机连接网络为79%,ResNet-50为77%)[21]。这些观察表明,随机性并不是一个草率的操作,而可能是机器智能的基础。这一观点与上面总结的神经科学中的类似推测相呼应。随机网络的有效性和效率,以及它体现未知计算原则的潜力激发了许多人对其进行分析性研究。
生物学证据、工程实践和理论分析似乎都指向一个观点:分布式的随机网络足以实现认知功能。然而,这个结论过于简单化了,事实上,随机网络必须与其他网络特性相结合才能实现复杂的功能。这些特性包括收敛性读出[22]、可塑性[23,24]、兴奋性-抑制性平衡[10,25]和稀疏性[5,10,26]。所有这些附加特征,都是基于随机连接这一前提条件,它们对于神经环路而言是不可或缺的。
随机网络是产生神经生理学中常见的混合选择性的最简单的神经环路。尽管与“功能只能来自有组织的网络”的常识相抵触,但在过去几十年里,随机网络已在生物大脑的各种系统中被发现。与此同时,随机性作为一种高效的计算方法,在人工智能中被用于构建人工神经网络。由于其独特性和有效性,随机网络已经吸引了许多理论研究者,来探究潜在的原则。
这些原则可以在三个概念层面上解释[27]:在计算层面上,随机网络与经过训练的神经网络一样,是通用的函数逼近器。通过发散性架构,随机网络创建了高维状态空间,在此空间中判别性解码更加灵活、可行。在算法层面上,随机网络就像计算机科学中的局部敏感哈希算法一样。这些算法可以大大节省训练深度网络所需的计算量。在实现层面上,随机网络是大脑中密集排列的神经毡中分布式网络最合理的物理实现方式。
但值得注意的是,随机网络的原则只有在与其他特性一起工作时才能完全发挥功能。过去十年间,人们对随机网络的重要性有了更多的认识,并澄清了一些关键概念,仍有更多的问题亟待解答:在计算层面上,尽管了解了维度和稀疏性的问题,但人们对随机网络中的表征仍然了解甚少。
在状态空间中,内在状态流形是什么样子的?在算法层面上,用于随机采样权重的分布仍然是经验性的、任意的。那么应该如何指定这些分布?是否应该使用先验知识?生成的权重应该是固定的,还是经过缓慢的赫布型学习*?在实现层面上,大脑还具有模块化的特性,比如功能列。那么模块化应该如何与随机分布的网络结构相协调?当弄清楚这些问题时,人们对随机网络的认识将会进一步深入,届时,或许确实可以确认,随机网络代表了智能的基本原则。
稀疏编码:大脑独特的特征大脑是一个存储和处理信息的机器。为了实现这些功能,需要对外部信息进行准确的量化和合理的表征[28]。稀疏编码策略是实现这些目标的关键途径。大脑在多个层面上利用稀疏性机制,包括视觉、嗅觉、触觉等知觉层面[29],讨论这些机制对于理解神经系统组织原则和智能形成至关重要。
稀疏编码的含义是:在任何给定时刻,发放神经元的数量仅占总神经元数量的一小部分(图2)[30]。“稀疏”本身只是一个相对的概念,没有明确的阈值,在与另外两种更极端的编码方案——局部编码和密集编码——比较时,其优势更加凸显[31]。局部编码,又被称为“one-hot”编码:每个神经元仅编码一个物体,任何两个物体的表征没有重叠,“祖母细胞”*便是最著名的例子。另一种极端编码情形是密集编码,又被称为完全分布编码:每个物体由神经元群体中所有神经元的联合活动来表征。而稀疏编码处于以上两种情形之间,同时拥有两者的优势[32]。
▷图2:稀疏编码示意图。在稀疏编码机制中,一幅图像由一小部分被激活的元件所表征,且被激活的原件分布随图像不同而有所差异(见图a)。另外,对于单一元件而言,由于稀疏编码过程中该元件大部分时间会处于静息态,这会导致其活动概率分布图上出现一个“峰”和两个长“尾”(见图b)。图源:参考文献44
稀疏编码在编码能力、能源效率和解码难度之间起到了很好的权衡作用。局部编码不允许重叠,一个含有N个二进制神经元的群体最多可以表征N个不同的项目。编码更多物体时需要招募更多神经元,从而消耗更多能量,而大脑可用的能量是有限的,因此为局部编码设定了上限。相反,密集编码允许N个二进制神经元编码2N个物体,显著提高了表征能力。在稀疏编码中,即使只有少数(最多K个)神经元可以同时为一个物体所激活,可以编码的物体总数也可以达到
,与局部编码相比,在编码相同信息片段时消耗的能量要少得多。分布式编码的困难之处在于读取,需要以生物学上合理的方式学习。但局部编码及其输出之间的关联可以利用简单的赫布学习机制来建立;因此,如果神经活动模式是稀疏编码的,学习会变得更有效[30,33]。
其次,稀疏编码还平衡了泛化和抗干扰之间的关系。在局部编码中,每个模式与其他模式之间是正交的,不同模式之间没有相似性,因此不可能从一个模式泛化到另一个模式。密集编码和稀疏编码允许部分重叠和不同级别的编码相似性,使得具有相似编码的项目之间可以进行泛化。然而,密集编码决定了许多物体(如果编码空间完全被占用,最多可以达到所有物体的50%)可能会激活同一个神经元,这种情况可能会导致不同发放模式之间的干扰[34]。稀疏编码则可以帮助应对这种灾难性遗忘[35],并减少模式之间的干扰[36]。在极端情况下,局部编码使得多个物体可以同时表征,相互之间完全不会受到干扰。
最后,稀疏编码显式地表征了刺激的自然结构,神经元响应有明显的调谐曲线式的反应。感受野复刻了环境中会遇到的频率结构,使得仅有一小部分神经元也可以表征一个自然刺激。结合过完备基*,稀疏编码可能会产生曲面流形的分段平坦表征,这个流形是自然刺激聚集的,从而简化了后续阶段的表征和分析[30]。这些优势支持生物体对信息进行更高效的编码、传输和存储。
在动物中,人们也广泛观察到了稀疏编码的存在,这些证据存在于各种感觉系统以及与运动、记忆有关的脑区中[29,37-39]。科学家们普遍认为,神经生物学中稀疏编码信号的实现可能是非常普遍的。
[40],随后提出稀疏性可能是感知表征的基本原则[41]。其他研究表明,自然图像可以进行稀疏编码,而这种编码特性与V1区神经细胞的响应非常相似[42]。
正如SuryazGanguli等人所说的那样,“对任何神经系统来说,存储、传递和处理高维神经活动模式或外部刺激都是根本性的挑战。”处理和学习外部信息是神经系统的基本任务。此外,高维信息在本质上往往是稀疏的。稀疏编码策略可能是生物大脑处理外部信息的一种必要且可行的方法,可以提高处理效率和稳健性。
未完待续……
参考文献
[1],binocularinteractionandfunctionalarchitectureinthecat';160(1):106.
[2]RigottiM,BarakO,;497(7451):585-590.
[3]FusiS,:;37:66-74.
[4]JohnstonWJ,;16(2):e1007544.
[5]BarakO,–;33(9):3844-3856.
[6]ParthasarathyA,HerikstadR,;20(12):1770-1779.
[7]WallachA,MelansonA,;32(1):51-63.
[8];109(19):3055-3068.
[9]LalazarH,;12(5):e1004910.
[10];9(2):e89992.
[11]NataleJL,;102(2):022405.
[12];13(4):e1005498.
[13]PattadkalJJ,MatoG,;24(8):2042-2050.
[14];32(12):4049-4064.
[15]VasasV,PengF,;9(1):1-13.
[16];10(1-2):25-61.
[17]::DataMiningandKnowledgeDiscovery2017;7(2):e1200.
[18]CaoW,WangX,;275:278-287.
[19];45:94-100.
[20]SaxeAM,KohPW,,January.
[21]XieS,KirillovA,/CVFInternationalConferenceonComputerVision2019.
[22]MittalAM,GuptaD,;11(1):1-15.
[23]LindsayGW,RigottiM,;37(45):11021-11036.
[24]SchafferES,StettlerDD,:;98(4):736-742.
[25];274(5293):1724-1726.
[26];83(5):1213-1226.
[27]:Acomputationalinvestigationintothehumanrepresentationandprocessingofvisualinformation,(TheMITPress2010).
[28]MaY,,2022.23(9):
[29]DeWeeseMR,,2003.23(21):
[30],2004.14(4):
[31]
[32]Földiá,inHandbookofBrainTheoryandNeuralNetworks(2nded.).2002,TheMITPress:Cambridge,MA.
[33]:,1990.2(1):
[34],1990.1(4):
[35]LiuV,KumaraswamyR,/Thirty-FirstInnovativeApplicationsofArtificialIntelligenceConference/NinthAaaiSymposiumonEducationalAdvancesinArtificialIntelligence,2019:
[36]:Computationalandmathematicalmodelingofneuralsystems,373-389,(MassachusettsInstituteofTechnologyPress2001).
[37]pinystellateandp,2002.543(Pt1):
[38]Perez-OriveJ,MazorO,,2002.297(5580):
[39]TangS,ZhangY,LiZetal.,Large-scaletwo-photonimagingrevealeds,2018.7.
[40],1961.1(01).
[41]:aneurondoctrineforperceptualpsychology?Perception,1972.1(4):
[42],1996.381(6583):
[43]OlshausenBA,:AStrategyEmployedbyV1?[J].VisionResearch,1997,37(23):607-609.
[44]TmkinI,:ApproachingComplexityinEvolutionaryTheory[J].SpringerInternationalPublishing,2015.