西風 一水 發自 凹非寺
量子位 | 公眾號 QbitAI
24小時不間斷學習且不遺忘，一輩子也只有4GB的“知識儲量”？
科學家們最新研究，計算出了人類學習積累上限，就這麼多~~（甚至還不如一塊U盤能裝）。
這是來自Cell旗下神經科學頂刊Neuron上的一項工作，它提出了一個發人深省的悖論：
人類信息處理速度僅為每秒10bit，而我們的感官系統卻能以每秒10億bit的速率收集數據。
由此，按照每秒10bit的速度來算，人類24小時不間斷學習且不遺忘，100年儲存的知識也不過4GB。
什麼概念呢？來和大模型做個對比：
大語言模型每個參數就能存儲2bit知識，一個70億參數的模型就能存儲140億bit的知識。
△結論來自華人學者朱澤園”Physics of Language Models”系列論文
難怪研究人員還提出了一項推論：
隨著算力的不斷提升，機器在各類任務中的表現超越人類只是時間問題。
另外，按照這項研究的結論，馬斯克目前的腦機介面研究也有問題了。
研究人員表示：
我們預測馬斯克的大腦與計算機的通信速率大約為10bit/s。與其使用Neuralink的電極束，不如直接使用電話，因為電話的數據傳輸率已經被設計得與人類語言相匹配，而人類語言又與感知和認知的速度相匹配。
一時間，這一系列驚人推論在學術圈各大社區引起廣泛討論。
美國知名醫師科學家、斯克里普斯轉化研究所創始人Eric Topol也忍不住下場轉發。
為啥我們一次只能思考一件事呢？
所以，結論如何得出的？
簡單說，要想計算人一輩子能學多少知識，我們得先從大腦處理資訊的速度說起。
從對幾項日常活動（如打字、說話演講、擰魔方等）的評估來看，他們初步得出“大腦處理資訊的速度約為10bits/s”這一結論。
以人類打字為例，高級打字員每分鐘能打120個單詞（每秒2個），平均每個單詞按5bit計算，那麼資訊傳輸速率就是10bits/s。
同樣，若以英語演講為例，如果將節奏控制在舒適程度——講話速度為每分鐘160個單詞，則資訊傳輸速率為13bits/s，略高於打字。
再比如“盲擰魔方”這項競技活動，選手需先觀察魔方幾秒，然後閉眼還原。以一次世界紀錄的成績12.78s為例，其中觀察階段約5.5s，由於魔方可能的排列數約為4.3x1016≈265，則最終資訊傳輸速率約為11.8bits/s。
使用類似方式，作者估算了更多場景下的資訊處理速度（從經典實驗室實驗到現代電子競技等），結果顯示為5~50bits/s之間。
由此也得出一個整體結論：人類思考的速度始終在10bits/s的尺度範圍內。
按照這一標準，假設我們能活100歲，每天24小時不間斷學習（且剔除遺忘因素），那麼我們最終的“知識儲量”也將不到4GB。
事實上，與10bits/s形成鮮明對照的是——人類感官系統以約10億bits/s的速率收集數據。
10bits/s VS 10億bits/s
具體來說，我們每天從周圍環境中獲取資訊的速率就以Gbps/s起算。
舉個栗子，視覺系統中單個視錐細胞能以270bits/s的速度傳輸資訊，而一隻眼睛就擁有約600萬個視錐細胞。
那麼，光是雙眼視覺系統接收資訊的速度就高達3.2Gbps/s。照此推算，我們接收資訊的速度與處理資訊的速度之間的差距比值竟然達到了108:1。
要知道，人類大腦里有超過850億個神經元，其中三分之一集中在大腦皮層組成了複雜的神經網路。也就是說，明明單個神經元就能輕鬆處理超過10bits/s的信息。
而現在所觀察到的現象卻與之不符，顯而易見，上述二者之間存在一定矛盾。
從神經元本身的性能來看，它們具備快速處理和傳輸資訊的能力，但這並沒有直接轉化為整體認知速度的提升，說明還有其他因素在起作用。
那麼，為什麼人類信息處理速度如此之慢？
按照論文分析，原因可能在以下幾個方面：
最主要的，中樞神經系統在處理信息時採用的是串行方式，對資訊傳輸速率有所限制。
這裡要提到並行處理和串行處理之間的區別。
所謂並行處理，顯然指多個任務同時進行。以我們看東西為例，視網膜每秒會產生100萬個輸出信號，每一個信號都是視網膜神經元對視覺圖像局部計算的結果，由此同時處理大量視覺資訊。
而在中樞神經系統中，他們觀察到了一種“心理不應期”（psychological refractory period）效應，即同時面對多個任務，中樞神經系統只將注意力集中在一個任務上。
當然，他們也進一步探究了出現“串行”背後的原因，結論是這與演化過程早期的神經系統功能有關。
展開來說，那些最早擁有神經系統的生物，核心利用大腦來檢測氣味分子的濃度梯度，以此判斷運動方向進行捕食和避開敵人。長此以往，這種特定功能需求使得大腦逐漸形成了“一次處理一個任務”的認知架構。
在進化過程中，大腦的這種架構逐漸固化，雖然隨著物種的進化，大腦的功能越來越複雜，但這種早期形成的認知架構仍然在一定程度上限制了我們同時處理多個任務和快速處理資訊的能力。
除此之外，還有理論認為存在 “注意瓶頸” 等限制了信息處理。注意力是認知過程中的一個重要因素，它就像一個瓶頸，限制了能夠進入認知加工階段的信息數量和速度，不過其具體運作機制目前人類尚未完全理解。
總之，按照論文的觀點，10bits/s這樣的速度已經可以滿足人類生存需求，之所以還存在龐大的神經元網路，原因可能是我們需要頻繁切換任務，並整合不同神經迴路之間的資訊。
不過話雖如此，鑒於10bits/s和10億bits/s之間的巨大差距，人類越來越無法忍受慢節奏了。
由此論文也得出一個推斷：隨著算力的不斷提升，機器在各類任務中的表現超越人類只是時間問題。
換成今天的話說，以AI為代表的新物種將大概率逐漸“淘汰”人類。
另外，論文還順帶調侃了馬斯克的腦機介面系統。
其中提到，馬斯克的行動基於肉體頻寬不足對處理資訊的限制。按照老馬的設想，一旦通過高頻寬介面直接連接人腦和計算機，人類就可以更自由地和AI交流，甚至共生。
然而他們認為這一想法有些過於理想化。
10bits/s的限制源於大腦基本結構，一般無法通過外部設備來突破。
由此也提出開頭提到的建議：
與其使用Neuralink的電極束，不如直接使用電話，因為電話的數據傳輸率已經被設計得與人類語言相匹配，而人類語言又與感知和認知的速度相匹配。
不過上述言論也並非意味著他們對腦機介面失去信心，他們認為其關鍵並不在於突破資訊速率限制，而是以另一種方式提供和解碼患者所需資訊。
這項研究由來自加州理工學院生物學與生物工程系的兩位學者完成。
Jieyu Zheng目前是加州理工學院五年級博士研究生，她還是上海交大本科校友，還有康奈爾大學生物工程學士學位，在劍橋大學獲得教育與心理學碩士學位。
她的研究重點聚焦於認知靈活性、學習和記憶，特別關注大腦皮層和海馬體在這些功能中的核心作用。目前她正在進行一個名為“曼哈頓迷宮中的小鼠”專案。
Markus Meister是Jieyu Zheng的導師，1991年起在哈佛大學擔任教授，2012年於加州理工學院擔任生物科學教授，研究領域是大型神經迴路的功能，重點關注視覺和嗅覺的感官系統。
Markus Meister曾於1993年被評為Pew學者，2009年因其在視覺和大腦研究方面的貢獻獲Lawrence C. Katz神經科學創新研究獎以及Minerva基金會頒發的“金腦獎”。
新研究發佈后，作者們就在X上當起了自個兒的自來水。
我們提出的特徵是腦科學中最大的未解數值。
Markus Meister還調侃每秒10bit的處理速度可是經過了同行評審的。
隨後學術圈各大社區也針對這項研究開始討論起來。
有人認為論文讀起來很有意思，發人深省：
簡化內容，只聚焦於中樞神經系統並且將討論的內容分為內部和外部大腦兩部分后，更有意義了。
這是一個非常重要的視角，值得深思……
然鵝，也有不少人提出疑問。
我越想這篇論文中的某些估計，就越懷疑。例如，關於打字員與聽者之間比特率的等效性（S.3）似乎有誤。正如香農所指出的，英文字母的熵約為每字元1bit。但如果是一連串的單詞或是概念，情況又如何呢？
作者預設了一個假設，即每秒10bit是慢的。與我們在矽基底上實現的通用計算系統相比，這的確很慢，但這種假設並不能線性地轉化為大腦的資訊輸送量和存在的感知。
對於這項研究，你有什麼看法呢？
論文連結：https://arxiv.org/pdf/2408.10234
參考連結：
[1]https://www.caltech.edu/about/news/thinking-slowly-the-paradoxical-slowness-of-human-behavior
[2]https://www.cell.com/neuron/abstract/S0896-6273(24)00808-0
[3]https://news.ycombinator.com/item?id=42449602
[4]https://arxiv.org/pdf/2408.10234
—完—
@量子位 · 追蹤AI技術和產品新動態
深有感觸的朋友，歡迎贊同、關注、分享三連վ'ᴗ' ի ❤