首頁 > 文章樣式內容詳情

機器也有煩惱,需要“做夢”來忘掉

2020-08-25 00:45:11 文章樣式

編者按:哺乳動物在睡覺的時候,大腦可以幫助記住該記住的信息,抹去不重要的信息??茖W家們受此啟發,模擬哺乳動物大腦的睡眠過程,開發出了“能夠睡覺”的數學模型,可以讓人工網絡“忘掉”冗余信息,增加存儲空間。本文譯自Medium,作者Karen Emslie,原標題為" Why Machines Need to Dream ",希望對您有所啟發。

機器也有煩惱,需要“做夢”來忘掉

在大多數情況下,進入夢鄉都是令人愉快的。在夢里,視覺和聽覺片段會結合成奇幻的場景,那些零星的回憶與想象中的場景融合在一起;我們與已知的角色和虛構的角色互動;我們有時探索自己的幻想,有時面對自己的恐懼。然而,睡眠和做夢的作用不僅僅是讓我們的生活更有樂趣。

當我們睡覺時,大腦會過濾在清醒時收集的信息。神經過程開始起作用,他們拋棄不相關的東西,鞏固重要的東西,形成并儲存記憶。這些在哺乳動物世界中普遍存在的機制是非常有效的,意大利的一組研究人員已經對這個過程進行了數學建模,以便用于人工智能。

這是一種通過迫使人工網絡進入離線睡眠階段來擴展其存儲容量的算法,在此期間,它們強化相關的記憶(pure states),消除不相關的記憶(spurious states)。

當數學“遇到”哺乳動物

阿德里亞諾·巴拉(Adriano Barra)是意大利薩倫托大學(University of Salento)的理論物理學家。巴拉跟我說話的時候,充滿了熱情和活力,經常用一包萬寶路香煙作為道具,來展示人工智能的精妙之處。

巴拉與同事埃琳娜·阿格利亞里(Elena Agliari)和阿爾貝托·法赫奇(Alberto Fachechi)一起研究大腦等復雜系統,并為復雜的神經生物學建立數學模型。巴拉說:“我們理論物理學家比工程師有一點點優勢,因為數學都是一樣的,我們可以把我們的結果應用到人工智能中。我們是神經生物學和工程學之間的橋梁。”

人工神經網絡的經典是Hopfield模型,它由約翰·霍普菲爾德(John Hopfield)于1982年開發,描述了人工網絡如何利用模擬真實大腦的機制(如模式識別)學習和檢索信息。Hopfield網絡最流行的學習規則是Hebbian learning,它指出了神經元之間的突觸在學習過程中是如何加強的。

然而缺點是,Hopfield模型已有幾十年的歷史,只能存儲有限的信息。用數學表達,這種對稱網絡的最大存儲容量是α∼0.14。然而理論極限是1,或α=1。

一個網絡的容量是由它所包含的神經元數目(n)決定的。每一個信息位,例如一個數字像素,都是一個不同的信息模式(P)。巴拉說:“你最多可以存儲的模式p等于0.14乘以n。”那么,為什么存儲容量只是理論值的一小部分呢?為什么是0.14,而不是1?

處于清醒狀態或在線狀態的網絡總是在學習新的信息模式。然而,除了收集令人滿意的模式,他們還收集不相關的,甚至是假模式。巴拉說:“你讓網絡存儲這些重要的模式,但不可避免它也會存儲錯誤的,這無法避免,它們是自動生成的。”

機器也有煩惱,需要“做夢”來忘掉

他拿起萬寶路香煙,把它比作一包駱駝牌香煙。“如果你持續存儲這些香煙包的詳細信息,比如藍色的是駱駝香煙,紅色的是萬寶路香煙,等等,在這個過程中你同時也接收了所有的冗余信息,網絡最后會被卡住,充斥著不相關和虛假的信息,最大容量達到0.14。

這種能力上的限制并不能阻止人工智能執行特定的任務,但是無用的數據占據有價值的空間會導致浪費和低效。這個意大利團隊的解決方案是開發一種算法,它能迫使網絡進入一個“類似哺乳動物睡眠”的離線階段,哺乳動物睡眠就是被用來強化重要的記憶,抹去不相關的記憶的。

巴拉說:“這與睡眠有很大的關系,因為如果你不去掉這些虛假的錯誤信息,網絡就無法區分什么是萬寶路香煙,什么是駱駝香煙。”

釋放空間

哺乳動物的大腦也在不斷地收集新的信息模式。但就像一艘漁船不加區分地在海底拖網捕魚一樣,它們會搜集相關信息,但也會搜集到不重要的細節。

巴拉說:“當你醒著的時候,會被動地儲存很多信息,你可能并不需要它,也不想把它儲存起來。我們還會制造虛假的信息模式。對于這些無用的信息,我們想要忘掉它,哺乳動物會通過睡眠來做到這一點。”

在我們經常做夢的快速眼動睡眠(REM)階段,大腦會抹去無關的記憶,這為存儲新文件提供了空間。在慢波睡眠(SW)階段,重要的記憶會被加強。雖然大多數的夢境發生在快速眼動睡眠期間,但在慢波睡眠階段,我們可能會做一些模糊的夢,在醒后很難回憶起來的夢。

研究小組知道,哺乳動物的大腦在睡眠時使用一種高效的機制來清除儲存空間。他們對這一事實的分析是他們的算法的出發點。

巴拉說:“后來我們閱讀了一些解釋真實大腦中的這種現象,并試圖建立數學模型的神經生物學論文。然后我們想到,如果把這個數學的框架應用到Hopfield模型上會發生什么?”

機器也有煩惱,需要“做夢”來忘掉他們的答案發表在4月份出版的《神經網絡》(Neural Networks)雜志上的一篇論文中。在新的框架下,人工網絡在標準的在線或清醒期間會持續學習和存儲信息模式(作為記憶)。但當存儲容量達到0.14時,網絡被迫進入脫機或休眠狀態。這個睡眠階段用來刪除不相關的信息,并鞏固重要的信息,或者更專業一點的說法是,用于“去除虛假模式和強化純粹模式”。通過增加這樣一個離線過程,網絡能夠釋放存儲空間,并將容量增加到1。

隨著生物進化,哺乳動物的大腦知道哪些信息應該被整合,哪些應該被刪除,但人工網絡需要人來承擔這項任務。巴拉說:網絡本身不知道什么重要,什么不重要,所以必須要由人類來告訴它。”

哺乳動物的大腦和人工智能還有其他技術上的差異。例如,在人類大腦中,清除和鞏固發生在兩個不同的睡眠階段(REM和SW);而當網絡處于睡眠狀態時,兩個任務是同時發生的。也許人類睡眠與機器睡眠最大的區別在于,我們可以自主地進行睡眠和打盹兒,而人工網絡的睡眠是由數學觸發的。

有了公共領域的新框架,巴拉的工作就結束了。他說:“我是一個理論物理學家,我負責開發數學框架,現在是工程師們實現它的時候了。也許人工網絡可以好好睡上一覺。

相關標簽: 技術相關 新聞 文章樣式

發布評論

陕西丫丫麻将打锅子 (★^O^★)MG黄金工厂试玩网站 (★^O^★)MG龙的财富投注 河北快3走势图一定牛 2020年高频彩票停售 7号彩票平台 南粤风26选5历史开奖 有河内5分彩平台 老快3遗漏号 (^ω^)MG丛林吉姆黄金国援彩金 (★^O^★)MG壮志凌云技巧介绍 福建31选7附加玩法复式规则 广西快3走势图今天一定牛 (^ω^)MG银狼援彩金 一肖中平特 开彩票平台怎么开 彩票华东15选5开奖查询