ChatGPT“越來(lái)越聰明”的背后，需要龐大的費(fèi)用支撐。其中，算力成本是最重要的，也是最不能偷工減料的一部分。

　 　ChatGPT對(duì)算力的消耗可以分為三個(gè)主要場(chǎng)景：

　　一是模型預(yù)訓(xùn)練過(guò)程，這是ChatGPT消耗算力的最主要場(chǎng)景。

　　ChatGPT采用預(yù)訓(xùn)練語(yǔ)言模型，在Transformer的模型架構(gòu)下，語(yǔ)言預(yù)訓(xùn)練過(guò)程可以根據(jù)上下文一次處理所有輸入，實(shí)現(xiàn)大規(guī)模并行計(jì)算。

　　通過(guò)堆疊多個(gè)解碼模塊，模型的層數(shù)規(guī)模也會(huì)隨著提升，可承載的參數(shù)量同步增長(zhǎng)。與之相對(duì)應(yīng)的，模型訓(xùn)練所需要消耗的算力也就越大。

　　據(jù)OpenAI團(tuán)隊(duì)發(fā)表于2020年的論文《Language Models are Few-Shot Learners》，訓(xùn)練一次1746億參數(shù)的 GPT-3模型需要的算力約為3640 PFlop/s-day。

　　即假如每秒計(jì)算一千萬(wàn)億次，也需要計(jì)算3640天。

　　考慮到ChatGPT訓(xùn)練所用的模型是基于GPT-3.5模型微調(diào)而來(lái)，GPT-3.5模型增加了參數(shù)量和訓(xùn)練樣本量，包含超過(guò)1746億個(gè)參數(shù)，那么預(yù)估訓(xùn)練一次ChatGPT所需算力至少需要約3640 PFlop/s-day的算力。

　　東吳證券研報(bào)分析認(rèn)為，ChatGPT的優(yōu)化主要來(lái)自模型的增大，以及因此帶來(lái)的算力增加。

　　GPT、GPT-2和GPT-3的參數(shù)量從1.17億增加到1750億，預(yù)訓(xùn)練數(shù)據(jù)量從5GB增加到45TB，其中GPT-3訓(xùn)練單次的成本就高達(dá)460萬(wàn)美元。

　　同時(shí)，模型開(kāi)發(fā)過(guò)程很難一次取得成功，整個(gè)開(kāi)發(fā)階段可能需要進(jìn)行多次預(yù)訓(xùn)練過(guò)程，因此對(duì)于算力的需求是持續(xù)的。

　　此外，從基礎(chǔ)大模型向特定場(chǎng)景遷移的過(guò)程，如基于ChatGPT構(gòu)建醫(yī)療AI大模型，需要使用特定領(lǐng)域數(shù)據(jù)進(jìn)行模型二次訓(xùn)練，同樣會(huì)增加訓(xùn)練算力需求。

　　二是模型迭代過(guò)程。

　　從模型迭代的角度來(lái)看，ChatGPT模型并不是靜態(tài)的，而是需要不斷進(jìn)行模型調(diào)優(yōu)，以確保模型處于最佳應(yīng)用狀態(tài)。

　　這一過(guò)程中，一方面是需要開(kāi)發(fā)者對(duì)模型參數(shù)進(jìn)行調(diào)整，確保輸出內(nèi)容不是有害和失真的;另一方面，需要基于用戶反饋和PPO策略，對(duì)模型進(jìn)行大規(guī)?；蛐∫?guī)模的迭代訓(xùn)練。

　　因此，模型調(diào)優(yōu)同樣會(huì)為ChatGPT帶來(lái)算力成本，具體算力需求和成本金額取決于模型的迭代速度。

　　三是日常運(yùn)營(yíng)過(guò)程。

　　在日常運(yùn)營(yíng)過(guò)程中，用戶交互帶來(lái)的數(shù)據(jù)處理需求同樣也是一筆不小的算力開(kāi)支?？紤]到ChatGPT面向全球大眾用戶，用的人越多，帶寬消耗越大，服務(wù)器成本只會(huì)更高。

　　據(jù)SimilarWeb數(shù)據(jù)，2023年1月ChatGPT官網(wǎng)總訪問(wèn)量為6.16億次。

　　據(jù)Fortune雜志，每次用戶與ChatGPT互動(dòng)，產(chǎn)生的算力云服務(wù)成本約0.01美元。

　　基于此，ChatGPT單月運(yùn)營(yíng)對(duì)應(yīng)成本約616萬(wàn)美元。

　　據(jù)上文，我們已知訓(xùn)練一次1746億參數(shù)的GPT-3模型需要3640 PFlop/s-day的算力及460萬(wàn)美元的成本，假設(shè)單位算力成本固定，測(cè)算ChatGPT單月運(yùn)營(yíng)所需算力約 4874.4PFlop/s-day。

　　直觀對(duì)比，如果使用總投資30.2億、算力500P的數(shù)據(jù)中心來(lái)支撐ChatGPT的運(yùn)行，至少需要7-8個(gè)這樣的數(shù)據(jù)中心，基礎(chǔ)設(shè)施的投入都是以百億記的。

　　當(dāng)然，基礎(chǔ)設(shè)施可以通過(guò)租用的方式來(lái)解決，但算力需求帶來(lái)的本壓力依然巨大。

　　隨著國(guó)內(nèi)外廠商相繼入局研發(fā)類似大模型，將進(jìn)一步加大對(duì)算力的需求。