嚴格意義上來說，其實嬰兒時期的記憶並沒有消失，你並不會到了3歲突然就不認識你的爸爸媽媽爺爺奶奶外公外婆，然後又要重新認識一遍。
3歲的你顯然是記得事情的，只是不記得那些不重要、不常使用、不常回憶的事情，具體上來分，應該是傾向於記住“事物記憶”（比如這是蘋果，這是電腦，這是爸爸，這是鏡子），而傾向於忘記“事件記憶”。
下面是我結合心理學和神經科學的一些思考，未必正確，沒有刻意去閱讀相關文獻，但從邏輯上應該是講得通的。
我下面將圍繞這句話展開論述：對一件事物的記憶加工，在心理學上可以粗略地分為三個階段——記住(encoding/learning)、維持(retention, maintenance, 遺忘就發生在這個階段)和提取(recall/retrieval)。
所以說，如果一個人表現出沒記住某樣事情，其實是有三種情況的：
（1）一開始就沒記住(發生在encoding階段）；
（2）記住了沒維持住，遺忘了（發生在retention階段）；
（3）記住了，也沒忘，但是提取不出來（發生在retrieval階段）。
我個人認為，人失去嬰兒時期的記憶，在記憶的每個階段都存在一些問題，但我認為主要是第三個階段的問題，也就是記憶提取的問題。
（一）線索缺失，造成記住和回憶困難
幾乎每個人都體會過見到熟人卻一時認不出，或是叫不出名字的尷尬，但是一旦對方提示你“我們去年夏天一起去的水上樂園，玩得很開心”，大多數人就能瞬間回憶起來。
對於已經長大的我們來說，每樣東西都由其特定的線索構成，事件記憶是由時間（去年夏天），地點（水上樂園），人物（我和他），幹什麼（玩），當時的情緒（很開心）所構成的一個pattern。它們在大腦中構成了一個網路，每一個要素都和其它要素互相聯絡，互為線索。
事實上，對於我們來說，往往只需要一兩個具備“特異性”的關鍵線索，就能把整個事件提取出來。
但是，對於嬰兒來說，事情變得不一樣了。
簡單來說，嬰兒啥也不懂。
這是什麼意思呢？學過方程的人都知道，你首先要“定義”一個變數，才能“呼叫”它，你只有知道了x是多少，才能知道y=x+1是多少。
首先，作為嬰兒的你對時間沒有概念，不能精確理解時間這個要素，去年夏天對於只有兩歲左右的嬰幼兒是個無法理解的概念，所以根本無法記錄到腦子裡去；
其次，你對水上樂園沒有概念，不能形成具體的地理和環境認知；
而嬰兒可能只對剩下的三個線索有模糊的理解：“人物”（和爸爸），“幹什麼”（玩水），“情緒”（很開心），這是三個沒有特異性的線索，因為“和爸爸玩水很開心”這件事，顯然可以發生在從0歲到18歲的任何時間裡，會被大量的後續記憶所覆蓋。
一件事對我們“有意義”“能夠被理解”，才能更好地記住。
我媽告訴我3歲能背出很多唐詩，但我一點印象都沒有，顯然那個時候的唐詩對我來說只是朗朗上口的無意義歌詞，一旦失去了複述的機會，這種記憶就會快速消退。
（二）嬰兒語向母語的轉換
還有一種可能，嬰兒時期的你是用你自己專屬的嬰兒語來定義這個世界的，比如你對“去年夏天在水上樂園和爸爸玩水很開心”這件事，你的大腦是這樣記錄的“生死をむやみに國”，而在你逐漸習得母語的過程中，你開始用母語來重新定義這個世界的一切，2歲時候的你，作為雙語（嬰兒語和母語共存）使用者，還能夠記得1歲時候發生的事，但當3歲以後，母語徹底成為了你的大腦系統語言，所有的東西都被重新定義了一遍，你原本的提取線索就全部失效了。
（這裡又涉及到元語言和元認知的問題，思維理論上來說是可以脫離語言而存在的，所以陳述性記憶的到底需不需要藉助語言呢？但不管怎麼說，語言肯定是有助於記憶的組織的）
就好像你把某一個程式的部分檔案重新命名，那這個程式就打不開了。
總結來說，就是嬰兒記憶提取線索被重新命名了，原本的那份記憶就無法啟動了。
（三）神經發育引起的遺忘過程易化
很多人會想到嬰幼兒發育時期的突觸變化，我也結合我的知識背景談一談我的理解。
拋去其他人說過的部分不談，人在發育成熟的過程中會伴隨著部分神經元功能的轉變，具體而言，主要是抑制性神經元的變化，在發育早期（嬰幼兒），部分神經標記物為抑制性的神經元在電生理性質上並非抑制的，而是興奮性的，這大大促進了長時程增強作用（反映了突觸可塑性，記住某樣東西必須的一種神經過程）。
這在進化上是可以理解的——動物在生命的早期需要快速適應環境，學會生存技能，因此需要快速學習的能力。
表現在現實中，可以舉兩個例子：一個就是所謂的學習語言和音樂的關鍵期；二就是很多人都反映自己小時候記憶能力更強。
隨著發育的進行，上述提及的神經元功能開始發生轉變，由興奮性轉向抑制性（當然這只是簡單的說法，這種轉變來源於某些離子通道的變化），發揮起了長時程抑制的作用（也是突觸可塑性的表現形式），於是開始了“突觸修剪”的過程，許多無用的記憶被剪下（其實也不是完全剪下，但會模糊一些不重要的資訊）。
理論上來說，這種部分神經元的興奮-抑制變化會進行性地發生在整個發育階段，直至神經系統完全發育成熟。
形象地打個比方，就是一群孩子中有男孩有女孩，在成長的過程中有男孩不斷地做變性手術，到了18歲時候這個群體只剩下女孩了（其他群體裡還是有男孩的）。
和身體發育一樣，這種神經系統的變化也是有高峰期和低潮期的，一般來說和幼年早期和青春期的身體發育保持一致，因此1-3歲是一個“突觸剪刀”頻繁活動的時期，這個時候的人類學習得快，忘記得也快。
一個反例就是多發於青春期的精神分裂症，從細胞層次說，這種精神疾病的發病和在青春期時的上述轉變出現了障礙關係很大，該轉變的神經元無法向抑制性轉變（涉及到某些基因和蛋白表達的問題，這裡不提），錯誤的資訊未得到修剪，而大腦卻維持較高的興奮性，就會出現種種問題。
另一個反例就是自閉症，很多證據表明自閉症存在腦功能連線過強過多的情況，並且大腦存在興奮/抑制性的失衡，而部分自閉症譜系患者也伴隨著在某些領域才華卓絕，可能和抑制性功能紊亂關係很大。
以上就是我的理解，必須承認有些想當然的成分在裡面，希望給大家提供一些不一樣的視角。
