當(dāng)前神經(jīng)網(wǎng)絡(luò)的局限性：無法預(yù)測，無法解釋理由，以及暫時(shí)的不穩(wěn)定性，因此我們需要一種新的神經(jīng)網(wǎng)絡(luò)。神經(jīng)網(wǎng)絡(luò)膠囊(Neural Network Capsules)就是解決當(dāng)前神經(jīng)網(wǎng)絡(luò)局限性的一種方法，但我們認(rèn)為它必須有些額外的特點(diǎn)：
1)視頻幀操作：這很簡單，因?yàn)槲覀冃枰龅木褪亲屇z囊路由查看最近時(shí)間的多個(gè)數(shù)據(jù)點(diǎn)。這相當(dāng)于在最近的重要數(shù)據(jù)點(diǎn)上建立起關(guān)聯(lián)內(nèi)存。請(qǐng)注意，這些不是最近幀的最新表達(dá)，而是它們最新的不同表達(dá)?？梢酝ㄟ^僅保存與預(yù)定義值不同的表達(dá)來獲得不同內(nèi)容的不同表達(dá)。這個(gè)重要的細(xì)節(jié)只允許保存最近歷史上的相關(guān)信息，而不是一系列無用的相關(guān)數(shù)據(jù)點(diǎn)。
2)預(yù)測神經(jīng)網(wǎng)絡(luò)能力：這已經(jīng)是動(dòng)態(tài)路由的一部分，它迫使各層預(yù)測下一層表達(dá)。這是一種非常強(qiáng)大的自我學(xué)習(xí)技巧，在我們看來，它勝過了我們?cè)谏鐓^(qū)中發(fā)展的所有其他非監(jiān)督表現(xiàn)學(xué)習(xí)。膠囊現(xiàn)在需要能夠預(yù)測長期的時(shí)空關(guān)系，但目前還沒有實(shí)現(xiàn)。
持續(xù)學(xué)習(xí)：這是很重要的，因?yàn)樯窠?jīng)網(wǎng)絡(luò)需要不斷地學(xué)習(xí)新的數(shù)據(jù)點(diǎn)來維持生存。目前的神經(jīng)網(wǎng)絡(luò)不能學(xué)習(xí)新的數(shù)據(jù)，而每次都需要從頭開始重新訓(xùn)練。神經(jīng)網(wǎng)絡(luò)需要能夠自我評(píng)估接受重新訓(xùn)練的必要性，以及它們確實(shí)知道某些事情的事實(shí)。這也需要在現(xiàn)實(shí)生活和強(qiáng)化學(xué)習(xí)任務(wù)中表現(xiàn)出來，我們想讓機(jī)器在不忘記舊任務(wù)的情況下完成新任務(wù)。
轉(zhuǎn)移學(xué)習(xí)：或者稱我們?nèi)绾巫屵@些算法通過觀看視頻自學(xué)，就像我們學(xué)習(xí)如何烹飪新的東西一樣。這是一種能力，需要我們上面列出的所有因素，而且對(duì)于加強(qiáng)學(xué)習(xí)也很重要?，F(xiàn)在你可以通過舉例子的方式來訓(xùn)練你的機(jī)器去做你想讓它做的事情，就像我們?nèi)祟愐粯印?/p>
強(qiáng)化學(xué)習(xí)：這是深神經(jīng)網(wǎng)絡(luò)研究的“圣杯”，即教機(jī)器如何在真實(shí)的世界環(huán)境中學(xué)習(xí)!這需要自學(xué)、持續(xù)學(xué)習(xí)、預(yù)測能力，還有很多我們不知道的東西。在強(qiáng)化學(xué)習(xí)領(lǐng)域有很多東西需要了解，但對(duì)作者們來說，這只觸及到問題的表面。
強(qiáng)化學(xué)習(xí)通常被稱為“蛋糕上的櫻桃”，意思是它只是塑料合成大腦上微不足道的訓(xùn)練。但是，我們?nèi)绾尾拍艿玫揭粋€(gè)“通用”大腦輕松地解決所有的問題呢?這是個(gè)“先有雞還是先有蛋”的問題!今天，要想一個(gè)個(gè)地解決強(qiáng)化學(xué)習(xí)的問題，我們需要使用標(biāo)準(zhǔn)神經(jīng)網(wǎng)絡(luò)：一個(gè)深度的神經(jīng)網(wǎng)絡(luò)，它接收大量的數(shù)據(jù)輸入，如視頻或音頻，并將其壓縮成表示;一個(gè)序列學(xué)習(xí)神經(jīng)網(wǎng)絡(luò)，如RNN，以便了解任務(wù)。
這兩個(gè)部分都是問題的明顯解決方案，目前顯然是錯(cuò)誤的，但這是每個(gè)人都在使用的，因?yàn)樗鼈兪钱?dāng)前可用的構(gòu)建塊。這樣的結(jié)果并不令人印象深刻：我們可以從頭開始學(xué)習(xí)玩視頻游戲，并且掌握像國際象棋和圍棋這樣完全可觀察的游戲，但無需多言，與在復(fù)雜的世界中解決問題相比，這些都是微不足道的。想象下，AI可以比人類更好地玩轉(zhuǎn)《Horizon Zero Dawn》，對(duì)此我拭目以待!
但這恰是我們想要看到的，即能像我們?nèi)祟愡@樣運(yùn)作的機(jī)器。我們對(duì)強(qiáng)化學(xué)習(xí)的建議是，使用可以連續(xù)操作的預(yù)測神經(jīng)網(wǎng)絡(luò)和聯(lián)想存儲(chǔ)器來存儲(chǔ)最近的經(jīng)驗(yàn)。
不要更多的遞歸神經(jīng)網(wǎng)絡(luò)(RNN)：因?yàn)樗鼈冊(cè)诓⑿谢矫姹憩F(xiàn)特別糟糕，甚至在特殊的定制機(jī)器上也很慢，因?yàn)樗鼈兊膬?nèi)存帶寬使用率很高，內(nèi)存帶寬存在限制?；谧⒁饬Φ纳窠?jīng)網(wǎng)絡(luò)更高效，可更快速地進(jìn)行訓(xùn)練和部署，并且在訓(xùn)練和部署方面的可伸縮性更少。在神經(jīng)網(wǎng)絡(luò)中，注意力有可能使許多架構(gòu)發(fā)生真正的改變，但它并沒有得到應(yīng)有的認(rèn)可。聯(lián)想記憶和注意力的結(jié)合是下一波神經(jīng)網(wǎng)絡(luò)發(fā)展的核心。我們認(rèn)識(shí)到，基于注意力的神經(jīng)網(wǎng)絡(luò)將逐漸取代基于RNN的語音識(shí)別，并在強(qiáng)化學(xué)習(xí)構(gòu)架和通用人工智能中找到它們的方法。
分類神經(jīng)網(wǎng)絡(luò)中信息的定位：實(shí)際上這是一個(gè)已經(jīng)解決的問題，將被嵌入到未來的神經(jīng)網(wǎng)絡(luò)架構(gòu)中。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專業(yè)媒體平臺(tái)，自1994年品牌成立以來，一直專注于安全&自動(dòng)化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場趨勢的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會(huì)資源以及豐富的媒體經(jīng)驗(yàn)，提供媒體、活動(dòng)、展會(huì)等整合營銷服務(wù)。
粵公網(wǎng)安備 44030402000264號(hào)
