Nvidia在人工智能芯片市場的真實(shí)統(tǒng)治力，可能比股票市場上的亮眼成績更為顯著。盡管市場上也存在其他深度學(xué)習(xí)訓(xùn)練（training）和預(yù)測（Inference）的解決方案，但試問各家AI企業(yè)，無論其內(nèi)部的模型訓(xùn)練，還是銷售給最終客戶的智能產(chǎn)品，絕大多數(shù)還是采用了Nvidia的GPGPU方案。在Nvidia不斷從各個(gè)角度（服務(wù)器、PC、嵌入式、汽車、訓(xùn)練專用和預(yù)測專用）推陳出新的時(shí)候，其他各家競爭公司基本上還處在嘗試初次產(chǎn)品化的過程中。據(jù)我粗略估計(jì)，Nvidia在人工智能芯片領(lǐng)域，領(lǐng)先最接近的競爭者至少有2年的時(shí)間。

　　今天Nvidia在人工智能領(lǐng)域的優(yōu)勢絕對不是一日之功。事實(shí)上整個(gè)深度神經(jīng)網(wǎng)絡(luò)技術(shù)在過去三年的崛起，除了大規(guī)模數(shù)據(jù)（如ImageNet）提供了訓(xùn)練深度網(wǎng)絡(luò)的基礎(chǔ)條件，通用圖形運(yùn)算單元（GPGPU）技術(shù)提供的強(qiáng)大運(yùn)算能力也功不可沒。如果沒有Nvidia的CUDA平臺(tái)，科學(xué)界證實(shí)深度學(xué)習(xí)巨大潛力的時(shí)間不知道還要推遲多久。更難能可貴的是，GPGPU技術(shù)使得在PC級別的計(jì)算機(jī)上進(jìn)行高密度的高性能運(yùn)算成本大幅降低，以至于一個(gè)普通科研人員的臺(tái)式電腦都有可能部署上萬個(gè)并行處理內(nèi)核。這使得深度學(xué)習(xí)技術(shù)迅速地在科技界發(fā)展和普及起來?？梢赃@么說，如果沒有GPGPU，堅(jiān)持研究了二十多年神經(jīng)網(wǎng)絡(luò)算法的Yann LeCun和Hinton教授們，恐怕還得繼續(xù)在學(xué)術(shù)界被繼續(xù)埋不少年。

　　而是什么原因使得一家以提供3D游戲渲染的顯卡公司，在這個(gè)重要的歷史節(jié)點(diǎn)，扮演了救世主的角色呢？

　　本文基于我個(gè)人的經(jīng)歷和觀察，提供一些相關(guān)的線索和理解。在這個(gè)過程中有兩個(gè)關(guān)鍵性的人物，分別是英偉達(dá)的CEO黃仁勛（Jen-Hsun Huang），以及英偉達(dá)的前首席科學(xué)家David Kirk。

　　Nvidia的CEO Jen-Hsun Huang（黃仁勛）大名鼎鼎，在硅谷可能是最有成就的華裔企業(yè)家。關(guān)于David Kirk的官方報(bào)道卻很少，在Nvidia Research的網(wǎng)站上可以看到他從1997年到2009年擔(dān)任Nvidia的首席科學(xué)家（Chief Scientist），是美國工程院院士，目前是Nvidia fellow。事實(shí)上了解Nvidia歷史的人都知道，這家1993年創(chuàng)建的公司，真正的拳頭產(chǎn)品GeForce系列就是1999年上市并且打響了國際聲譽(yù)的。也就是說，David Kirk任職期間，他帶領(lǐng)NV創(chuàng)造了至今仍是全世界最暢銷的獨(dú)立顯卡產(chǎn)品。

　　對于高性能運(yùn)算以及人工智能領(lǐng)域的學(xué)者來說，David Kirk最偉大的功績則是他促成了GPU通用化，推廣了CUDA平臺(tái)以及OpenCL標(biāo)準(zhǔn)。在摩爾定律面臨時(shí)鐘頻率無法繼續(xù)進(jìn)步的時(shí)代，GPGPU這種低成本大規(guī)模的SIMD并行處理架構(gòu)，讓很多普通人的計(jì)算機(jī)變成了超級電腦，也讓本該壽終正寢的摩爾定律繼續(xù)發(fā)光發(fā)熱。他發(fā)明的GPGPU科技，給歷經(jīng)苦難的神經(jīng)網(wǎng)絡(luò)技術(shù)，鋪墊了一條通往苦盡甘來的道路，也成就了人工智能當(dāng)前大發(fā)展的局面。

　　我有幸于2008年在Nvidia Research作實(shí)習(xí)生。那時(shí)我還是一枚計(jì)算機(jī)視覺專業(yè)的博士候選人。當(dāng)時(shí)從事人工智能研究專業(yè)的博士生，日子過得可不像今天的師弟師妹們那么痛快。整個(gè)領(lǐng)域整體還處在不靠譜的狀態(tài)，也沒有專門針對計(jì)算機(jī)視覺而設(shè)計(jì)的專用芯片。學(xué)生時(shí)期的我，為了實(shí)現(xiàn)視覺信號(hào)實(shí)時(shí)處理，鉆研過嵌入式CPU、DSP、FPGA等方案。這些方案要么性能不足，要么開發(fā)流程復(fù)雜不便。我甚至嘗試過同時(shí)使用十幾臺(tái)服務(wù)器并行處理一路實(shí)時(shí)視頻流的視覺理解（也真是土豪極了）。2007年Nvidia推出了CUDA beta版，我在EPSON實(shí)驗(yàn)室自己摸索著用一塊普通的游戲顯卡，把一個(gè)視角轉(zhuǎn)換功能（使得一臺(tái)投影儀在任意形狀和顏色的背景上顯示出理想畫面）的性能，相比最好的臺(tái)式機(jī)CPU解決方案，提高了整整50倍。從此以后我就認(rèn)定了GPGPU是人工智能的重要解決方案，我的科研人生就此走上了康莊大道。EPSON的實(shí)習(xí)結(jié)束后，我申請了Nvidia Research lab的實(shí)習(xí)生，希望深入研究一下GPGPU在計(jì)算機(jī)視覺信號(hào)處理中的應(yīng)用。

　　很幸運(yùn)的是，我實(shí)習(xí)期間的名義導(dǎo)師就是Nvidia首席科學(xué)家David Kirk。不過由于Kirk先生太忙，整個(gè)實(shí)習(xí)期間我和他其實(shí)也只見面交流了幾次而已。Kirk先生教導(dǎo)學(xué)生的方式挺有意思。我進(jìn)公司第一次見到導(dǎo)師，問我的任務(wù)是什么。Kirk先生說你有兩個(gè)任務(wù)：第一個(gè)任務(wù)是花兩周的時(shí)間想清楚自己想解決什么問題；第二個(gè)任務(wù)就是用實(shí)習(xí)剩下的時(shí)間完成那個(gè)任務(wù)（這不就是放羊嗎？）。Kirk先生一方面組織科研，一方面花很多時(shí)間研究公司未來的產(chǎn)品策略，近在咫尺卻實(shí)在沒有時(shí)間指導(dǎo)學(xué)生，于是就委托了遠(yuǎn)在明尼蘇達(dá)的Michael Garland博士和佛吉尼亞的David Luebke教授遠(yuǎn)程指導(dǎo)在硅谷實(shí)習(xí)的我。

　　Nvidia的CEO Jen-Hsun Huang工作很忙，但是他對于研究院的工作極其感興趣。我親眼目睹黃總在實(shí)驗(yàn)室和研究員們討論問題時(shí)的認(rèn)真和耐心。2008年夏天有個(gè)專為實(shí)習(xí)生安排的demo展示會(huì)。沒想到那天Jen-Hsun也來參觀，并且很耐心地巡視實(shí)習(xí)生作品。6年之后的2014年，當(dāng)我在Nvidia北京辦公室代表我的創(chuàng)業(yè)公司再次見到Jen-Hsun時(shí)，他竟然一口叫出了我的名字并回憶起當(dāng)年我給他做的展示。這樣的記憶力和洞察力，讓我印象深刻。

　　那幾年，David Kirk的主要精力都在試圖把原來只用來作3d渲染加速的GPU技術(shù)通用化，讓更多的應(yīng)用分享到大規(guī)模SIMD運(yùn)算陣列的性能優(yōu)勢。在一次聊天中，Kirk跟我說他從2003年就開始琢磨這個(gè)問題：那時(shí)Intel剛剛推出了四核的CPU處理器，NV就已經(jīng)推出包含了100多個(gè)SIMD內(nèi)核的GPU了。Intel的處理器可以通過多線程技術(shù)被所有計(jì)算機(jī)應(yīng)用分享；但是GPU基本上還是只能通過OpenGL/DirectX等高等繪圖渲染接口，或者使用極度麻煩的Shader Program接口跟用戶交互。如果能夠提供合適的編程模型，把豐富的GPU并行運(yùn)算資源給開發(fā)者分享出來，那么每一個(gè)用戶的GPU，都可以變成一臺(tái)上百核的大規(guī)模高性能計(jì)算機(jī)。

　　讓每一臺(tái)個(gè)人電腦變成一座大規(guī)模超級計(jì)算機(jī)！

　　這個(gè)想法雖好，但是需求在哪里呢？普通吃瓜群眾，為什么要花錢（即使是幾百塊美元）去購買一臺(tái)超級計(jì)算機(jī)呢？除此以外，全世界所有的計(jì)算機(jī)軟件工程師幾十年來已經(jīng)適應(yīng)了在CPU上編寫程序，該怎么去培養(yǎng)懂得在超級計(jì)算機(jī)上編寫并行處理程序的軟件工程師呢？畢竟，理想是理想，現(xiàn)實(shí)是現(xiàn)實(shí)。但是David Kirk先生，竟然就說服了Jen-Hsun，投入很多資源研發(fā)出了能夠讓GPU變得通用化的CUDA技術(shù)。等到這個(gè)技術(shù)成熟以后，David Kirk又向CEO提出要求：NV未來所有的產(chǎn)品，每一顆GPU，無論是賣到哪個(gè)產(chǎn)品線的，都必須支持CUDA！

　　David Kirk的理由是這樣的：如果僅僅是數(shù)據(jù)中心版本的GPU支持CUDA，那么只會(huì)有很少的工程師擁有合適的硬件來學(xué)習(xí)和研發(fā)CUDA程序；如果普通消費(fèi)者的顯卡不支持CUDA程序，那么這種技術(shù)永遠(yuǎn)不可能變成一種普惠的、能夠影響大多數(shù)人的成果。因此要么不干，要么就徹底地大干特干。

　　即便是今天回想起來，這仍然是一個(gè)風(fēng)險(xiǎn)極高、形同瘋狂的決定。要知道，那個(gè)年代的Nvidia，幾乎100%的收入都來自電腦游戲或者美工設(shè)計(jì)等傳統(tǒng)應(yīng)用。這意味著面對這些尚沒有高性能運(yùn)算需求的傳統(tǒng)客戶，Nvidia都必須在硬件產(chǎn)品的設(shè)計(jì)中增加相關(guān)的CUDA邏輯電路，這使得芯片面積增大、散熱增加、成本上升、故障幾率增加；同時(shí)，對于每一款產(chǎn)品，相關(guān)的軟件驅(qū)動(dòng)都必須保障對CUDA的完美支持。要知道，CUDA本身的升級換代，使得對過去每一款硬件產(chǎn)品的兼容性支持變成了海量工作（我想NV至少有幾百名驅(qū)動(dòng)程序工程師哭暈在廁所）。最要命的是，誰也說不清這些額外的工作，除了要成就把每一臺(tái)PC都變成超級計(jì)算機(jī)這樣遙遠(yuǎn)的科學(xué)理想，到底對消費(fèi)者有什么具體的價(jià)值。

　　很顯然，這樣的決定如果放在一般的把風(fēng)險(xiǎn)控制和短期利益看得很重的公司，是絕無可能發(fā)生的。但Jen-Hsun Huang不是一位普通的CEO。他支持了這個(gè)偉大的、同時(shí)也伴隨巨大風(fēng)險(xiǎn)的決定。于是，2007年，從Nvidia的Tesla架構(gòu)（內(nèi)部代碼G80）開始，NV出的每一款GPU芯片（除了Tegra1-4等移動(dòng)嵌入式系列），都完全支持GPGPU的CUDA架構(gòu)。

　　和今天Nvidia的繁榮景象不同，2008年的Nvidia處在水深火熱中。一方面CPU大咖AMD收購了NV的老對手ATI，形成了CPU整合GPU的新解決方案；一方面Intel中斷和Nvidia之前在集成顯卡方面的合作，把三維圖形加速功能集成進(jìn)了自家的芯片組。面對兩大CPU巨頭的合力夾擊，NV的局面異常緊張，只剩下高性能的獨(dú)立顯卡一條路。然而屋漏偏逢連夜雨，NV主打的高端筆記本獨(dú)顯產(chǎn)品8600M系列出現(xiàn)了和散熱有關(guān)的品質(zhì)問題，很多采用了這款顯卡的筆記本電腦（所有的主流品牌包括蘋果的MacBook Pro）出現(xiàn)了黑屏甚至是燒機(jī)等故障。這時(shí)，NV除了面臨用戶和股民們潮水般的譴責(zé)和質(zhì)疑，還要面對整機(jī)廠商的訴訟和賠償要求。

　　對于重大的產(chǎn)品品質(zhì)事故，當(dāng)時(shí)在公司內(nèi)外部都流傳著這么一種質(zhì)疑：雖然事故的直接原因是芯片制造商臺(tái)積電（NV是一家fabless的芯片公司，也就是只設(shè)計(jì)芯片，把芯片生產(chǎn)外包給其他公司）采用的一種沒有經(jīng)過長期充分驗(yàn)證的封裝材料導(dǎo)致芯片散熱出現(xiàn)問題。但是如果不是每個(gè)芯片都支持CUDA，那么散熱的壓力原本可以輕松一點(diǎn)，制造部門也就沒有必要鋌而走險(xiǎn)采納臺(tái)積電的不成熟方案。

　　與此同時(shí)，競爭公司Intel和AMD的攻擊一波一波來襲。Intel計(jì)劃推出的GPCPU方案Larrabee采用了大規(guī)模支持x86指令集的陣列，號(hào)稱能讓Legacy Software順利運(yùn)行（后來該方案在2010年由于性能不如預(yù)期等原因被Intel取消）；AMD則在競爭激烈的游戲顯卡市場推出游戲性能強(qiáng)大并且功耗和散熱更優(yōu)的純粹GPU產(chǎn)品直接競爭。一時(shí)間，Nvidia頗有些四面楚歌的感覺。在2007到2008年度，NV的股價(jià)從最高37美元跌落到最低6美元左右。

　　而就在2009年1月，David Kirk離職了。他離職后去了UIUC和Wen-mei W. Hwu教授一起開了一門關(guān)于CUDA的編程課。我也應(yīng)他們的要求幫他們的教科書寫了一點(diǎn)東西。那時(shí)我聽到一些謠言，說Jen-Hsun Huang后悔支持CUDA了。不過接替Kirk的是斯坦福大學(xué)計(jì)算機(jī)系主任Bill Dally教授。Dally教授是并行運(yùn)算領(lǐng)域的大牛級專家，而且是Kirk在加州理工的校友。這個(gè)人事任命消息使得我確信之前聽到的傳聞都是謠言。Dally是增強(qiáng)版的Kirk，Nvidia并沒有放棄讓每一臺(tái)PC成為超級計(jì)算機(jī)的理想。

　　從2009年的GTC開始，CUDA、高性能科學(xué)運(yùn)算和個(gè)人超級計(jì)算機(jī)變成了一家游戲顯卡公司最顯著的主題。來自計(jì)算機(jī)視覺、自然語言處理、語音識(shí)別、生物、醫(yī)療、天文地理、腦神經(jīng)科學(xué)，甚至是社會(huì)科學(xué)的研究者們，基于CUDA，在他們的個(gè)人電腦上不斷挖掘出驚人的計(jì)算力。這些成果發(fā)表在各個(gè)領(lǐng)域的各種重要期刊上，推動(dòng)著這些領(lǐng)域的快速發(fā)展。2011年，我在谷歌的同事們發(fā)起了一個(gè)叫做Google Brain的項(xiàng)目，大量地使用GPGPU技術(shù)把深度神經(jīng)網(wǎng)絡(luò)技術(shù)應(yīng)用在幾個(gè)重要的人工智能應(yīng)用領(lǐng)域里。2012年的CVPR，他們探索出只用一個(gè)模型就可以在不同圖片中區(qū)分10萬種物體的檢測算法，并成為CVPR最佳論文。在我看來，這一年是人工智能技術(shù)發(fā)展的分水嶺。從此這個(gè)領(lǐng)域的進(jìn)展真的可以用日新月異來形容。2013年，我離開山景城的谷歌研究院，回到北京創(chuàng)立了格靈深瞳，中國最早的一批人工智能公司。

　　今天，格靈深瞳的所有產(chǎn)品（硬件部分）都采用了Nvidia的GPGPU處理器。格靈深瞳能夠有今天的機(jī)遇，離不開這家令人尊敬的顯卡公司，離不開Jen-Hsun、David Kirk這些有遠(yuǎn)見和魄力的企業(yè)家和科學(xué)家。

　　有人說是深度學(xué)習(xí)技術(shù)成全了NV的GPGPU，要不然NV這么多年對科學(xué)運(yùn)算大規(guī)模的投入可能就打水漂了。其實(shí)我認(rèn)為，反而是GPGPU技術(shù)，成全了深度學(xué)習(xí)技術(shù)。數(shù)據(jù)運(yùn)算的能力，對于人工智能領(lǐng)域，就像空氣和水對生命的重要性一樣。

　　2015年夏天在廣州的一個(gè)活動(dòng)上，我很高興地再次遇見了David Kirk。那時(shí)他已經(jīng)全職回到了Nvidia工作。人工智能領(lǐng)域經(jīng)過幾十年的發(fā)展，道路曲折坎坷。很幸運(yùn)我們這個(gè)領(lǐng)域總是被一些有遠(yuǎn)見的人預(yù)見和引導(dǎo)。遠(yuǎn)見很重要，但堅(jiān)持理想，讓遠(yuǎn)見落地變成現(xiàn)實(shí)是需要勇氣與魄力的。