Cerebras Systems公司的CS-2人工智能訓(xùn)練計(jì)算機(jī)包含了世界上最大的單芯片，該公司透露，在計(jì)算機(jī)上增加新的存儲(chǔ)系統(tǒng)可以提高神經(jīng)網(wǎng)絡(luò)的規(guī)模，它可以擴(kuò)大至現(xiàn)有最大模型的100倍，可支持超過120萬億參數(shù)規(guī)模的訓(xùn)練。此外，該公司還提出了兩個(gè)方案，通過連接多達(dá)192個(gè)系統(tǒng)和有效處理神經(jīng)網(wǎng)絡(luò)中的所謂“稀疏性”來加速訓(xùn)練。Cerberbas的聯(lián)合創(chuàng)始人兼首席硬件架構(gòu)師Sean Lie在近日的IEEE Hot Chips 33會(huì)議上詳細(xì)介紹了所涉及的技術(shù)。

　　這些發(fā)展來自四種技術(shù)的組合：Weight Streaming、MemoryX、SwarmX和Selectable Sparsity。前兩種方法將神經(jīng)網(wǎng)絡(luò)的規(guī)模擴(kuò)大了兩個(gè)數(shù)量級，CS-2可以訓(xùn)練兩個(gè)數(shù)量級的神經(jīng)網(wǎng)絡(luò)，它們改變了計(jì)算機(jī)的工作方式。

　　CS-2設(shè)計(jì)用于快速訓(xùn)練大型神經(jīng)網(wǎng)絡(luò)。節(jié)省的大部分時(shí)間來自這樣一個(gè)事實(shí)：芯片足夠大，可以將整個(gè)網(wǎng)絡(luò)（主要由稱為權(quán)重和激活的參數(shù)集組成）保留在芯片上。其他系統(tǒng)會(huì)損失時(shí)間和電源，因?yàn)樗鼈儽仨毑粩嗟貙⒕W(wǎng)絡(luò)的一部分從DRAM加載到芯片上，然后將其存儲(chǔ)起來，為下一部分騰出空間。

　　有了40G的片上SRAM，計(jì)算機(jī)的處理器WSE2甚至可以容納當(dāng)今最大的通用神經(jīng)網(wǎng)絡(luò)。但這些網(wǎng)絡(luò)正在快速增長，僅在過去幾年中就增長了1000倍，現(xiàn)在已接近1萬億個(gè)參數(shù)。因此，即使是晶圓大小的芯片也開始填滿。

　　要理解解決方案，首先必須了解一些培訓(xùn)過程中發(fā)生的情況。訓(xùn)練包括將神經(jīng)網(wǎng)絡(luò)將要學(xué)習(xí)的數(shù)據(jù)流化，并測量網(wǎng)絡(luò)離準(zhǔn)確度有多遠(yuǎn)。這種差異被用來計(jì)算“梯度（gradient）”——如何調(diào)整每個(gè)權(quán)重以使網(wǎng)絡(luò)更精確。這種梯度在網(wǎng)絡(luò)中逐層向后傳播。然后重復(fù)整個(gè)過程，直到網(wǎng)絡(luò)達(dá)到所需的精度。在大腦最初的方案中，只有訓(xùn)練數(shù)據(jù)流到芯片上。權(quán)重和激活保持不變，梯度在芯片內(nèi)傳播。

　　Feldman解釋說：“新的方法是保持所有的激活狀態(tài)，并輸入[重量]參數(shù)。”該公司為CS-2構(gòu)建了一個(gè)名為MemoryX的硬件插件，該插件將權(quán)重存儲(chǔ)在DRAM和閃存的混合中，并將其流式傳輸?shù)絎SE2中，在WSE2中，權(quán)重與存儲(chǔ)在處理器芯片上的激活值進(jìn)行交互。然后梯度信號被發(fā)送到存儲(chǔ)器單元以調(diào)整權(quán)重。該公司表示，通過weight streaming和MemoryX，單個(gè)CS-2現(xiàn)在可以訓(xùn)練一個(gè)具有多達(dá)120萬億個(gè)參數(shù)的神經(jīng)網(wǎng)絡(luò)。

　　Feldman表示，他和他的聯(lián)合創(chuàng)始人在2015年成立該公司時(shí)就看到了weight streaming的必要性。我們一開始就知道我們需要兩種方法，”他說，“然而，我們可能低估了世界將以多快的速度達(dá)到非常大的參數(shù)大小?！盋erebras在2019年初開始為weight streaming增加工程資源。

　　在Hot Chips上公布的另外兩項(xiàng)技術(shù)旨在加快培訓(xùn)過程。SwarmX是擴(kuò)展WSE2片上高帶寬網(wǎng)絡(luò)的硬件，因此它可以連接多達(dá)192臺(tái)CS-2的1.63億個(gè)AI優(yōu)化核。構(gòu)建計(jì)算機(jī)集群來訓(xùn)練大規(guī)模人工智能網(wǎng)絡(luò)充滿了困難，因?yàn)榫W(wǎng)絡(luò)必須在許多處理器之間分割。Feldman說，結(jié)果往往不能很好地放大。也就是說，集群中計(jì)算機(jī)數(shù)量翻倍通常不會(huì)使訓(xùn)練速度翻倍。

　　Cerebras的MemoryX一種內(nèi)存擴(kuò)展技術(shù)，為WSE-2提供高達(dá)2.4PB的片外高性能存儲(chǔ)，能保持媲美片上的性能。借助MemoryX，CS-2可以支持高達(dá)120萬億參數(shù)的模型。

　　Feldman說：“我們終于解決了最緊迫的問題之一：如何使構(gòu)建集群變得簡單?！?/p>

　　因?yàn)橐粋€(gè)WSE2可以保存一個(gè)網(wǎng)絡(luò)中的所有激活，Cerebras可以想出一個(gè)方案，使計(jì)算機(jī)數(shù)量加倍確實(shí)可以使訓(xùn)練速度加倍。首先，代表神經(jīng)網(wǎng)絡(luò)的一整套激活被復(fù)制到每個(gè)CS-2（為了簡單起見，讓我們假設(shè)您只有兩臺(tái)AI計(jì)算機(jī)），然后相同的一組權(quán)重流到兩臺(tái)計(jì)算機(jī)。但是訓(xùn)練數(shù)據(jù)被分成兩半，一半的數(shù)據(jù)發(fā)送到每個(gè)CS-2。使用一半的數(shù)據(jù)，計(jì)算梯度需要一半的時(shí)間。每個(gè)CS-2都會(huì)產(chǎn)生不同的梯度，但這些可以結(jié)合起來更新MemoryX中的權(quán)重。然后，新的重量流傳輸?shù)紺S-2，與之前一樣，該過程重復(fù)進(jìn)行，直到獲得準(zhǔn)確的網(wǎng)絡(luò)，在這種情況下，只需一臺(tái)計(jì)算機(jī)所需時(shí)間的一半。

　　Feldman表示，Cerebras已經(jīng)在由“數(shù)千萬個(gè)人工智能核心”組成的機(jī)器集群上完成了這項(xiàng)工作。同時(shí)他的人工智能內(nèi)核數(shù)量也達(dá)到了85萬個(gè)，打破首代WSE 處理器創(chuàng)造的世界紀(jì)錄。無論是核心數(shù)還是片上內(nèi)存容量均遠(yuǎn)高于迄今性能最強(qiáng)的GPU。此外，Cerebras還實(shí)現(xiàn)了192臺(tái)CS-2 AI計(jì)算機(jī)近乎線性的擴(kuò)展，從而打造出包含高達(dá)1.63億個(gè)核心的計(jì)算集群。

　　Hot Chips報(bào)道的最后一項(xiàng)創(chuàng)新被稱為Selectable Sparsity：一種動(dòng)態(tài)稀疏選擇技術(shù)。這是一種在不影響網(wǎng)絡(luò)準(zhǔn)確性的情況下減少訓(xùn)練中涉及的參數(shù)數(shù)量的方法。稀疏性在人工智能中是一個(gè)巨大的研究領(lǐng)域，但對于CS-2來說，它涉及的很多方面都是從不乘以零的。

　　Cerebras首席執(zhí)行官兼聯(lián)合創(chuàng)始人Andrew Feldman表示，這推動(dòng)了行業(yè)的發(fā)展。根據(jù)該公司的說法，這四項(xiàng)創(chuàng)新的結(jié)合可幫助Cerebras計(jì)算機(jī)保持在神經(jīng)網(wǎng)絡(luò)的頂端，為研究和見解開辟廣闊的新途徑。