深度學(xué)習(xí)之計(jì)算能力

2016-08-23 16:19 閱讀 3636 來(lái)源：安防知識(shí)網(wǎng) 評(píng)論區(qū)

深度學(xué)習(xí)實(shí)踐的四個(gè)關(guān)鍵要素：計(jì)算能力、算法、數(shù)據(jù)和應(yīng)用場(chǎng)景，就像四大金剛一樣保證了深度學(xué)習(xí)的應(yīng)用和實(shí)踐，在深度學(xué)習(xí)中起到關(guān)鍵性的作用。

　深度學(xué)習(xí)實(shí)踐的四個(gè)關(guān)鍵要素：計(jì)算能力、算法、數(shù)據(jù)和應(yīng)用場(chǎng)景，就像四大金剛一樣保證了深度學(xué)習(xí)的應(yīng)用和實(shí)踐，在深度學(xué)習(xí)中起到關(guān)鍵性的作用。

　　深度學(xué)習(xí)以不少于兩個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)對(duì)輸入進(jìn)行非線性變換或表示學(xué)習(xí)的技術(shù)，通過(guò)構(gòu)建深層神經(jīng)網(wǎng)絡(luò)，進(jìn)行各項(xiàng)分析活動(dòng)。深層神經(jīng)網(wǎng)絡(luò)由一個(gè)輸入層，數(shù)個(gè)隱層，以及一個(gè)輸出層構(gòu)成。每層有若干個(gè)神經(jīng)元，神經(jīng)元之間有連接權(quán)重。每個(gè)神經(jīng)元模擬生物的神經(jīng)細(xì)胞，而結(jié)點(diǎn)之間的連接模擬神經(jīng)細(xì)胞之間的連接。總結(jié)起來(lái)是這個(gè)樣子的：
　　深度學(xué)習(xí)以不少于兩個(gè)隱含層的神經(jīng)網(wǎng)絡(luò)對(duì)輸入進(jìn)行非線性變換或表示學(xué)習(xí)的技術(shù)，通過(guò)構(gòu)建深層神經(jīng)網(wǎng)絡(luò)，進(jìn)行各項(xiàng)分析活動(dòng)。深層神經(jīng)網(wǎng)絡(luò)由一個(gè)輸入層，數(shù)個(gè)隱層，以及一個(gè)輸出層構(gòu)成。每層有若干個(gè)神經(jīng)元，神經(jīng)元之間有連接權(quán)重。每個(gè)神經(jīng)元模擬生物的神經(jīng)細(xì)胞，而結(jié)點(diǎn)之間的連接模擬神經(jīng)細(xì)胞之間的連接。總結(jié)起來(lái)是這個(gè)樣子的：

　　這種流向圖的一個(gè)特別屬性是深度(depth)：從一個(gè)輸入到一個(gè)輸出的最長(zhǎng)路徑的長(zhǎng)度。深度學(xué)習(xí)并非一個(gè)新的概念，但在2006年由Hinton等人引領(lǐng)了一波爆發(fā)。然而近年來(lái)雖然許多人都在談?wù)撋疃葘W(xué)習(xí)，但這項(xiàng)技術(shù)在實(shí)際應(yīng)用時(shí)到底有哪些坑?創(chuàng)辦一家成熟的依賴深度學(xué)習(xí)的公司需要哪些要素?下面我們將來(lái)重點(diǎn)講解下深度學(xué)習(xí)之計(jì)算能力。

　　計(jì)算能力

　　首先，深度神經(jīng)網(wǎng)絡(luò)復(fù)雜，訓(xùn)練數(shù)據(jù)多，計(jì)算量大。深度神經(jīng)網(wǎng)絡(luò)中神經(jīng)元多，神經(jīng)元間連接數(shù)量也相當(dāng)驚人。從數(shù)學(xué)的角度看，每個(gè)神經(jīng)元都要包含數(shù)學(xué)計(jì)算(如Sigmoid、ReLU或者Softmax函數(shù))，需要估計(jì)的參數(shù)量也極大。語(yǔ)音識(shí)別和圖像識(shí)別應(yīng)用中，神經(jīng)元達(dá)數(shù)萬(wàn)個(gè)，參數(shù)數(shù)千萬(wàn)，模型復(fù)雜導(dǎo)致計(jì)算量大。所以計(jì)算能力是深度學(xué)習(xí)應(yīng)用的基礎(chǔ)。

　　不僅如此，計(jì)算能力還是推動(dòng)深度學(xué)習(xí)的利器，計(jì)算能力越強(qiáng)，同樣時(shí)間內(nèi)積累的經(jīng)驗(yàn)就越多、迭代速度也越快，百度首席科學(xué)家吳恩達(dá)博士認(rèn)為深度學(xué)習(xí)的前沿正轉(zhuǎn)移到高性能計(jì)算(HPC)，這也是他目前在百度的工作重心之一，吳博士認(rèn)為深度學(xué)習(xí)上的很多成功得益于主動(dòng)地追求可用的計(jì)算能力，2011年Jeff Dean(谷歌第二代人工智能學(xué)習(xí)系統(tǒng)Tensorflow的設(shè)計(jì)者之一)創(chuàng)立并領(lǐng)導(dǎo)了谷歌深度學(xué)習(xí)小組，使用谷歌云擴(kuò)展深度學(xué)習(xí);這使得深度學(xué)習(xí)得以推向工業(yè)界。在2013年，科茨博士等人建立了第一個(gè)HPC式的深度學(xué)習(xí)系統(tǒng)，可擴(kuò)展性提升了1-2個(gè)數(shù)量級(jí)，使深度學(xué)習(xí)有了革命性的進(jìn)步——計(jì)算能力這種對(duì)于深度學(xué)習(xí)的支撐與推動(dòng)作用是不可替代的。

　　目前這方面技術(shù)處于領(lǐng)先地位的還是像百度、谷歌這樣的大型互聯(lián)網(wǎng)公司，當(dāng)然也有一些像地平線機(jī)器人這樣的初創(chuàng)公司在該領(lǐng)域頗有成就，由百度深度學(xué)習(xí)研究院負(fù)責(zé)人余凱博士創(chuàng)立的地平線機(jī)器人公司設(shè)計(jì)的深度神經(jīng)網(wǎng)絡(luò)芯片相比傳統(tǒng)的CPU芯片能夠支持深度神經(jīng)網(wǎng)絡(luò)中圖像、語(yǔ)音、文字、控制等方面的任務(wù)而不是去做所有事情，這樣比在CPU上用軟件要高效，會(huì)提高2-3個(gè)數(shù)量級(jí)。

免責(zé)聲明：本站所使用的字體和圖片文字等素材部分來(lái)源于互聯(lián)網(wǎng)共享平臺(tái)。如使用任何字體和圖片文字有冒犯其版權(quán)所有方的，皆為無(wú)意。如您是字體廠商、圖片文字廠商等版權(quán)方，且不允許本站使用您的字體和圖片文字等素材，請(qǐng)聯(lián)系我們，本站核實(shí)后將立即刪除！任何版權(quán)方從未通知聯(lián)系本站管理者停止使用，并索要賠償或上訴法院的，均視為新型網(wǎng)絡(luò)碰瓷及敲詐勒索，將不予任何的法律和經(jīng)濟(jì)賠償！敬請(qǐng)諒解！

您可能也喜歡這些文章

參與評(píng)論

回復(fù)：

0/300

文明上網(wǎng)理性發(fā)言，評(píng)論區(qū)僅供其表達(dá)個(gè)人看法，并不表明a&s觀點(diǎn)。

0

推薦專(zhuān)題

中文字幕日韩一区二区不卡,亚洲av永久无码精品天堂动漫,亚洲av无码国产精品麻豆天美,最新版天堂中文在线,中文字幕视频在线看

深度學(xué)習(xí)之計(jì)算能力