2016 年，神经科学家绘制了皮层豌豆大小区域如何响应数百个语义概念的图。他们现在正在这项工作的基础上了解大脑中视觉、语言和记忆表征之间的关系。
亚历克斯·胡特
我们经常认为记忆是对过去的重演——我们经历过的事件和感觉的心理复制。在大脑中，这类似于再次表达相同的神经活动模式：例如，记住一个人的脸可能会激活与看到他们的脸的相同的神经模式。事实上， 在某些记忆过程中，确实会发生类似的事情。
但近年来，研究人员一再发现视觉和记忆表征之间存在细微但显着的差异，后者始终出现在大脑中略有不同的位置。科学家们不确定如何理解这种转变：它起到什么作用，它对记忆本身的本质意味着什么？
现在，他们可能已经找到了答案——在专注于语言而不是记忆的研究中。
德克萨斯大学奥斯汀分校的神经科学家 Alex Huth 研究大脑如何表示语言意义。
Gallant 当时的一名研究生Alex Huth使用 Gallant 实验室的尖端技术来分析大脑可能在哪里编码不同种类的视觉信息。 Huth、Gallant 和他们的同事让参与者在 fMRI 扫描仪内观看数小时的无声视频。然后，将数据分割成大约豌豆大小的脑组织（称为体素）的记录，他们分析了扫描结果，以确定数百个物体和动作在皮层中的位置。
他们在所有参与者中发现了非常一致的模式——这些模式形成了视觉意义的广义地图。它证实了早期研究中已知的一些视觉皮层区域的身份，例如选择性地对面部或地点做出反应的区域。但它也首次出现了数百个其他选择性补丁：对动物、家庭成员、室内场景、室外场景、运动中的人等图像做出反应的区域。
胡特并没有就此止步。他和他的团队决定尝试类似的方法，只是这次使用语言而不是视觉刺激。他们让人们收听数小时的播客录音，然后评估他们的大脑如何对他们在这些故事中听到的数百个概念做出反应。加兰特说，研究人员在 2016 年在《自然》杂志上编译和报告的语义网络——另一幅拼凑而成的地图，拼贴了大片皮层的意义马赛克——在这种规模和维度上是“一个真正的新事物”。 “没有人在找它。”
仅这种对齐就很了不起。 “实际上，我们很少能在大脑中看到边界和划定区域，”未参与这项研究的芝加哥大学心理学家Wilma Bainbridge说。 “我还没有真正见过这样的事情。”
这种模式在个体之间也是系统的，在每个参与者身上一遍又一遍地出现。 “大脑中的这个真正的边界似乎是一个普遍的组织原则，”达特茅斯学院研究感知和记忆的博士后研究员亚当斯蒂尔说。
它显示了视觉皮层如何通过这些梯度与皮层的其余部分交互：许多平行通道似乎都在不同类型的表示中保留了意义。在视觉处理的层次模型中，大脑首先提取边缘和轮廓等特定特征，然后将它们组合起来以构建更复杂的表示。但目前还不清楚这些复杂的表示如何变得越来越抽象。当然，视觉细节可能会拼凑起来，创造出猫的形象。但是最终的图像是如何被分配到“猫”这个概念类别的呢？
现在，这项工作暗示了从视觉细节到更大抽象的进展如何开始在更细粒度的水平上发生。 “我们正在将我们真正了解的大脑部分与我们几乎不了解的大脑部分粘合在一起，”加兰特说。 “我们看到的是，设计原则并没有真正改变那么多。”
事实上，一种传统的大脑组织理论认为，语义知识的表征发生在一个专门的区域——一个类似枢纽的指挥中心，接收来自各种系统（包括感知系统）的信息。但加兰特团队的结果表明，这些不同的网络可能过于紧密地交织在一起而无法分离。美国国家心理健康研究所的克里斯贝克说：“我们的理解，我们对事物的了解，实际上在某种程度上嵌入了感知系统。”
这一发现可能对人类对世界的抽象知识如何发展产生影响。 Huth 说，也许，基于语言的表示部分是由感知表示的——这种对齐是这种情况发生机制的一部分。麻省理工学院的认知神经科学家Ev Fedorenko说，不同大脑区域的感知能力实际上可能“决定了更广泛概念空间的涌现结构”。也许这甚至可以说明意义本身的本质。 “什么意思？”她说。 “也许比某些人所争论的更多地体现了它。”
但最有趣的是，皮层中表征类型之间的这种分级转换与最近关于感知和记忆之间关系的发现相呼应。
意义的记录，而不是感知的记录
2013 年，哥伦比亚大学的认知神经科学家克里斯托弗·巴尔达萨诺 ( Christopher Baldassano )发现了一个有趣的模式，当时他观察到一个已知对地点有选择性反应的区域的神经活动。该区域后部的活动模式与已知视觉网络的特征模式相关，而该区域前部的活动似乎与记忆网络中的活动更相关。
这表明记忆表征可能不涉及精确的重新激活，而是跨越皮层空间的微妙转变，到与可以找到相应视觉表征的位置紧邻的位置。
达特茅斯学院的认知神经科学家卡罗琳·罗伯逊 (Caroline Robertson) 研究人类记忆、感知以及它们之间的关系。
达特茅斯/Eli Burakian
在过去的一年里，包括班布里奇、贝克、斯蒂尔和达特茅斯学院的卡罗琳·罗伯逊在内的几项新研究通过直接比较人们在观看、随后回忆或想象各种图像时的大脑活动，进一步证实了这一发现。在每种情况下，系统的空间转换都标志着大脑的感觉和记忆表征之间的差异。视觉表现出现在相关记忆的后面——就像胡斯基于语言的研究一样。
就像那项研究一样，这项研究似乎表明感知和记忆也深深地纠缠在一起。 “将我们的记忆系统视为一个完全独立的工作空间是没有意义的，”巴尔达萨诺说。
俄勒冈大学的神经科学家Brice Kuhl说：“很多人都有这样的直觉，即感知体验就像一团熊熊燃烧的火焰，而记忆体验就像一支摇曳的蜡烛。”但记忆显然不仅仅是原始体验的较弱回声。在这些最近的实验中看到的物理变化反而表明，表征本身的系统变化编码了一种完全不同但仍然与原始体验相关的体验。
Huth 的工作为这种转变的本质提供了新的见解。也许记忆并不像我们想象的那样由视觉驱动。也许它更抽象、更语义化、更语言化。 “我们经常有这样的印象，即我们拥有这些奇妙的事物视觉表现，”贝克说。 “你觉得你可以看到它。但也许你不能。”
对库尔来说，这是有道理的。毕竟，“我们知道，当我们在想象或记忆某事时，它与实际看到它是截然不同的，”他说。我们在脑海中看到的可能是基于其语义内容对记忆场景或物体的重新解释，而不是对它的字面重放。 “我们非常专注于使用感知体验作为模板。但我认为这让我们有点蒙蔽了双眼。”
为了检验这些假设，研究人员现在正在研究那些似乎无法想象出心理图像的人，这种情况称为失神症。班布里奇说，也许，患有幻想症的人会在他们的神经表征中表现出更大的前移——这种变化可能不会过多地关注视觉和语义反应的结合，这表明他们会更快地过渡到抽象思维。
“从概念上讲，我认为这个领域确实是一个非常新的想法，”库尔说。 “它正在动摇我们的思维。”