記憶是如何形成的？哪些事情會被我們記住？為何有些記憶會經久不忘？
要想解答這些亙古之謎，需要明白生物的記憶遠不同於在記事本上記日記，更不像如計算機磁碟那樣可以反覆讀寫。記憶的生成、鞏固和讀取並非執行單一的、簡單的指令，而是涉及一個精巧的、多步驟的複雜過程。
近日發表在Nature Human Behaviour的一篇論文[1]，經由AI深度生成模型，闡釋了人腦是如何儲存和重建記憶的獨特感覺和可預測概念元素的。
▷原始論文：Spens, Eleanor, and Neil Burgess. "A generative model of memory construction and consolidation." Nature Human Behaviour (2024): 1-18.
問題：海馬體究竟是做什麼的？
神經科學的進展，最初來自於那些大腦部分損傷的可憐病患，著名的病例H.M.（Henry Molaison）就是由於海馬體的損傷，失去了形成新記憶的能力，但保留了一些基本技能和長期記憶。科學家由此認定海馬體在新記憶的形成時發揮重要作用。
然而，隨著研究的深入，科學界發現海馬體不僅僅參與記憶的形成，還在其它認知功能中發揮著重要功能，例如海馬體中的“位置細胞”（place cells）在空間記憶和導航中起著重要作用。海馬體損傷的患者可能會難以回憶起曾經去過的地方或者抵達某個目的地的方式與過程。
之後更多的研究還發現，中，海馬體是最早受到損傷的區域之一。此外，海馬體還與情緒調節有關，其損傷可能導致情緒波動、焦慮和抑鬱等情緒問題。這些發現意味著人們最初以為科學家找到了人腦用於臨時儲存的“記憶體”，結果發現這個記憶體不僅是待寫入資訊的緩衝區，還參與資訊的提取和調控。
越來越多關於海馬功能的發現，讓普通人乃至專家都對海馬的具體功能感到迷惑，也許並非是海馬體的功能多麼複雜多變，而是我們搞錯了研究方向？
背景：記憶的分類
電腦的儲存分為快取記憶體，記憶體，硬碟等多級儲存。而人腦的記憶按照時間來分，只分成兩檔：短期或工作記憶和長期記憶。長期記憶又可細分為語義記憶（Semantic Memory）和情景記憶（Episodic Memory）。語義記憶類似於詞典，涉及對世界知識的記憶，如歷史事件、科學事實等；情景記憶更像私人化的筆記，涉及個人經歷，如第一次騎腳踏車的經歷。
具體來說，情景記憶涉及時空背景下的自傳體經歷，對應“我是誰”、“從哪裡來”的問題；而語義記憶涉及事實知識，回答“我能做什麼”、“想到哪裡去”等問題。只有同時具有這兩種記憶，才能算一個完整的人。可問題是，我們就只有一套神經系統，如同準備了一桌菜，來了兩桌人，大腦該如何應對？
之前的研究表明，情景記憶可以透過海馬體的事後回放來快速捕獲轉瞬即逝的多模式體驗，因此被認為具有建設性。回憶是對過去經驗的（重新）構建，而非單純地檢索一個副本。正是有了這一次次的回放，使得在進化上較新的新皮質能夠從多種感官的體驗中找到統計規律，從而形成語義記憶。這看似解釋了大腦如何產生記憶，然而細究起來，情景記憶的重建機制及其與語義記憶的關聯尚不清楚，例如我們不知道大腦是如何從情境中篩選關鍵特徵的。而這是本文主要介紹的研究想要解決的問題。
新模型的關鍵詞：鞏固
該研究新提出的記憶模型模擬瞭如何使用記憶的初始表徵來訓練一個生成式人工神經網路。研究人員向模型播放了10000張簡單場景的影象，其中模擬海馬體的部分網路快速編碼所經歷的每個場景。隨後，該網路反覆回放這些場景，以訓練模擬新皮質的生成神經網路。
這個待訓練的網路透過學習經歷過的事件（或“模式”）的統計結構來重建記憶。生成網路將每個場景中代表數千個輸入神經元（接收視覺資訊的神經元）的活動傳遞給一個更小的神經元中間層（最小的層僅包含20個神經元），從而將場景重建為數千個輸出神經元（負責預測視覺資訊）的活動模式。
訓練過程如圖1a所示：首先，海馬體快速編碼事件；然後，在接受海馬體回放表徵的訓練後，生成網路逐漸接管。這一過程使得記憶更加抽象，更支援概括和關係推理，但也更容易出現基於要點的扭曲。生成網路可用於重建（用於記憶）或構建（用於想象力）感官體驗，或直接從其潛在變量表示中支援語義記憶和關係推理。
▷圖1：生成模型的訓練過程與其內部的更細節結構。來源：原始論文
上述模型看起來複雜，但卻不難理解。想象一個一見鍾情的少年，只是見了女孩一次便念念不忘，在腦中一遍遍回放見面的每個細節。經過一次次回放，大腦的某個區域熟能生巧，能夠生成一個關於這個女孩的種種場景。這時，少年對那次相遇的記憶經由一次次的回放而扭曲，他開始幻想著和女孩牽手的樣子，這些都形成了情境記憶。而大腦的新皮層則在搜尋女孩出現規律的種種線索，而這就會成為陳述性的語義記憶。
在上述過程中，海馬的功能不再是一張用作中轉的草稿紙，而是更像是老師，經由自聯想網路給生成模型提供指導。而生成模型訓練的過程，可視為記憶鞏固。在鞏固過程中，記憶從一個神經網路轉移到另一個神經網路。鞏固後，生成網路對記憶中包含的資訊進行編碼。一旦生成網路學會重建特定事件，對它的依賴就會隨時間增長。
具體來說，生成網路被設計成一種特殊型別的自編碼器，即變分自動編碼器（VAE，圖1b）。在這種編碼器中，資料被壓縮到最緊湊的層，這一層代表了一組潛在變數。我們可以從這些潛在變數中取樣，以生成與訓練資料集相似的新例項。這些潛在變數可以被認為是觀察資料背後的隱藏因素，而在潛在空間中的不同方向可以對應於資料的有意義變換。VAE的編碼器負責將感官體驗轉換為潛在變數，而解碼器部分則負責將這些潛在變數還原為感官體驗。在對一類刺激進行訓練後，VAE可以基於該類別的一般模式，從部分輸入中重建此類刺激，並生成與該模式一致的新刺激。
記憶重建中的差異支援概念提取
在感知過程中，生成模型根據其重建誤差（輸入和輸出表示之間的差異，也稱為“預測誤差”）來持續評估體驗的新穎性。事件中與先前經驗一致的部分（即重建誤差較低的部分）不需要在海馬體中的自關聯“教師”網路中進行詳細編碼。當生成網路的重建誤差降低到一定程度時，就不再需要依賴海馬體的記憶軌跡，從而為新的記憶編碼釋放出空間。重建誤差閾值可能會根據刺激的重要性或可用注意力資源的數量而變化。例如，情緒顯著性可以降低這個閾值。
上述過程我們繼續用少年遇到夢中女神的例子解釋，在回放與女孩初次相遇的場景時，大腦可能不會過分關注場景中熟悉的部分，而會專注於最新奇、最有價值的部分。在少年初遇女孩後可能會有一段意亂神迷的時間，這段時間發生了什麼可能完全沒有記憶。這是因為在這段時間內，海馬體正專心作為生成網路的“老師”，並未有足夠的資源接收新的外部資訊。一旦大腦判斷記憶中的女孩與實際經驗中的女孩相似度足夠高（纖毫畢現），海馬體便會重新被釋放出來，用於編碼新的感官體驗，形成記憶。通常，這種情感衝擊大的記憶更新頻率不高，上下文的連貫性較差，往往只包含少數幾個場景。
在這個新的框架下，記憶鞏固可能不僅僅是細粒度的感官表徵更新粗粒度的概念表徵的過程，而是將粗粒度和概念性表徵與細粒度和感官性的一系列表徵結合在一起的過程。例如，海馬體在編碼遇見女孩的那一天時，可能會將“女孩”和“心動”等粗粒度概念，與諸如陌生歌曲的旋律或特定沙灘的景象等感官表徵結合在一起。
▷圖2：場景（森林遇到狼）被編碼為與生成網路的潛在變數相關的可預測的概念（森林）特徵和生成網路預測不佳的不可預測的感官特徵（狼）的組合。來源：原始論文
將記憶鞏固過程視作更精細表徵替代粗糙表徵，並不利於大腦高效運算。在感知過程中，每個體驗元素的重建誤差是透過生成模型計算出來的。那些具有高重建誤差的元素在自聯想網路中被編碼為感覺特徵，同時還與生成模型的潛在變量表示相關的概念特徵也一併被編碼。換句話說，每個模式都被分成兩部分：一是可預測的元件（近似生成網路對模式的預測）；另一個是不可預測的元件（具有高預測誤差的元素）。這樣的處理方式產生的向量比詳細儲存每個元素要稀疏得多，從而提高了大腦的處理效率，避免了類似於電腦硬碟碎片化導致的卡頓。
而為了驗證上述架構是否能夠拆解感官從而進行推理，研究者設計瞭如圖3b中的題目。而前述的人工神經網路能夠經由訓練（圖3a），完成對新概念的解碼，並在記憶中對元素進行組合（這被稱為想象，對應圖3c中的影象）。此外，這些模型還能超越個別經驗，利用共同的抽象特徵透過同一生成網路處理不同的記憶（圖3d）。這說明該模型已經學習了資料的一些概念結構，支援“A和B有特定關係，那麼類似的，C與X有對應關係嗎？”這類推理任務，併為記憶的靈活重組提供了一個模型，而這被認為是情境思維（類比）的基礎。
▷圖3：生成模型中的學習、關係推理和想象。來源：原始論文
概念提取的另一面——扭曲和誇張
前文談了記憶經由概念提取來關注更出乎意料的部分，然而，大腦的生成網路為了能儘快完成重構任務，會選擇誇大新元素的某些特徵。就如怦然心動的少年只會記得女孩吸引人的那一面。在人工神經網路的模型中，我們也能觀察到類似的記憶扭曲現象。
研究者讓模型記住手寫數字，之後對比模型重構的數字與輸入數字（圖4a）。結果發現，重構的數字加強了各數字的典型特徵，使得同一類別內的數字影象間差異減少（圖4b），聚類後重建的影象邊界更清晰，區分更明顯（圖4c，d）。這意味著即使在訓練期間沒有給出類別資訊，生成網路的回憶也會將刺激扭曲為更典型的表徵。隨著對生成模型的依賴增加，這種失真程度也相應增加。
▷圖4：手寫數字訓練過程中放大了各數字的典型特徵。來源：原始論文
回到少年初遇夢中女孩的場景，在少年的記憶回放中，女孩可能總是處在畫面的中心，畫面的尺寸也不多，儘管實際上他可能只是在人群中遠遠地看著女孩。這種記憶中對畫面邊界的延伸和收縮，是記憶扭曲的一個典型表現。而在人工神經網路的實驗中，生成網路提供的一系列新場景，與訓練集中的場景相比，生成的場景大多被“放大”或“縮小”（圖5f，g）；關鍵刺激的重建被扭曲為“典型檢視”（圖5e），這與人類記憶資料中觀察到的現象相似。
▷圖5，記憶扭曲中的邊界延伸和收縮現象。來源：原始論文
並非無中生有的扭曲
正如情竇初開的少年會按照看過的電影小說中的樣子來回憶和女孩的相遇，人們在記憶重建中也常常依賴於已儲存的模式。例如，在編碼後不久，回憶會偏向於該類別的“平均值”（圖 6a，b）。當編碼的錯誤閾值較高時，這種趨勢更加明顯，因為對“原型”表示的依賴程度更高，導致對新特徵的回憶較少。在較低的錯誤閾值下，編碼了更多的感官細節，即記憶軌跡的維度更高，重建誤差也就越低。這表明失真較低，但會犧牲重構效率。
▷圖6：a，在回憶過程中，在自聯想網路中檢索編碼的概念，確定生成網路重建的原型場景。這會使回憶偏向於作為上下文提供的類。b，擴充套件模型中的記憶失真，當原始場景（包含模糊的模糊形狀）使用給定概念進行編碼時，由該類的潛在變量表示。然後，生成網路處理部分輸入，以生成預測的概念特徵和該概念的原型未預測的感覺特徵（在本例中為白色方塊）。然而，MHN中的模式補全再現了最初編碼的感覺和概念特徵，並且這些特徵被重新組合以產生最終的輸出。來源：原始論文
心理學研究發現，人們有時會錯誤地認為自己聽到的故事包含了未曾出現的單詞，而這僅僅是由於該單詞與剛剛講述的故事主題相關。這是記憶在重構過程中經由已有模式產生扭曲的另一個例項。圖7展示的實驗說明了這樣的現象，並指出無論是人還是AI模型，都出現了這一現象。這讓人想起大模型的幻覺，雖然兩者有著不同的記憶機制，卻有著相似的特徵（缺陷）。
▷圖7：訓 VAE來重建簡單的故事，之後發現AI和人一樣會聽到未曾聽過的單詞。來源：原始論文
總結與擴充套件
為了生存，人類需要從過去的經歷中提取模式，以預測未來的事件。而人工神經網路的模擬表明，當我們在休息時，大腦會重放記憶，從過去的經歷中提取模式，幫助進行有利於生存的預測。在這個過程中，海馬體和新皮層在記憶、想象力和計劃過程中協同工作，以便我們既可以回憶特定的經驗，又可以靈活地構想新的情景。新皮質網路透過學習對場景的高效“概念”表示，捕捉它們的本質，使得重現過去的場景和創造新的場景成為可能。這一過程讓海馬體可以專注於編碼新皮層無法輕易複製的獨特特徵，比如新穎的刺激，而無需儲存每一個細節。
該框架將記憶整合視為一個持續的終生過程，而不是在單個數據集的編碼過程中引入新的複雜性。它考慮到了對舊資料的修修補補，包括潛在表徵的不穩定性，從而增強了記憶的魯棒性。生成網路對新記憶的吸收有助於防止已經鞏固的記憶發生災難性的遺忘。
在這個框架下，我們可以理解為什麼海馬體的損傷會影響新記憶的形成，以及為何這種損傷與阿爾茨海默症患者提取已有記憶的缺陷有關。此外，這還說明了為什麼海馬體異常與需要記憶調節情緒的精神疾病（如抑鬱症）有關。在該框架中，語義記憶變得獨立於海馬體：生成網路所學習到的潛在變數的表示形式構成了事件的“關鍵事實”，從而支撐了語義記憶；而情景記憶仍然依賴於海馬體，其扭曲則源於大腦生成網路的運作。
該模型框架還對心理學對記憶的現有長期記憶二分提出挑戰，即真正的情景記憶是否需要事件獨特的細節，以及這是否需要海馬體？在模型中，事件的獨特細節最初是由海馬體提供的，但也可以由生成網路提供。例如，如果你知道有人參加了你的生日聚會並送給你一份特別的禮物，這些個人語義事實不必依賴於海馬體，但可以生成一個具有正確的事件特定細節的場景，這似乎就是情景記憶。隨著生成模型的依賴概念越來越多，大腦在構建對新刺激的模型時將更多地依賴於語義記憶，這在經濟上是合理的，但這同時意味著思維的僵化或者深入骨髓的偏見。
隱藏在情景記憶和語義記憶的差異之下的，是該研究中反覆出現的“記憶鞏固”。正是由於記憶鞏固，人類可以透過少量嘗試就學會新事物，但這也帶來了記憶偏差的扭曲。情景記憶和語義記憶之間應當是一條連續的光譜，隨著越來越多的概念被提取，認知的抽象層次也隨之提高，逐漸與特定經驗脫離，從而情景記憶轉化為語義記憶。
無獨有偶，近日Nature Communications的一篇相關主題論文[2]，基於強化學習框架構建的AI模型同樣指出，海馬體提取隱藏表徵的過程與待完成任務與主體的行為實驗共同進化，進一步佐證了該文觀點。
總之，記憶與想象之間的邊界遠比我們想象的要模糊。海馬體與新皮層的協作，不僅是記憶儲存和回憶的基礎，也是想象力和創造力的核心。正是這種內在的、動態的再創造過程，使得每個人的記憶和體驗都富有個性，獨一無二。
*本文為論文的科普文章，並未涉及原文更為技術的部分以及神經科學細節部分，感興趣的朋友還請具體參照原文[1]。
參考文獻：
- 1. Spens, Eleanor, and Neil Burgess. "A generative model of memory construction and consolidation." Nature Human Behaviour (2024): 1-18.
- 2. Cone, Ian, and Claudia Clopath. "Latent representations in hippocampal network model co-evolve with behavioral exploration of task structure." Nature Communications 15.1 (2024): 687.
