集群規(guī)模擴(kuò)展至3倍后線性加速比高達(dá)97%以上、102B 模型訓(xùn)練性能達(dá)業(yè)界120% 以上……這是商湯基于昇騰計算生態(tài)的最新成果。近日，商湯大裝置事業(yè)群研發(fā)總監(jiān)張行程受邀出席華為全聯(lián)接大會2024并發(fā)表演講，帶來了商湯大模型基于昇騰原生開發(fā)實踐的主題分享。

　　大會上，國際權(quán)威數(shù)據(jù)機(jī)構(gòu)IDC還發(fā)布了《AI時代數(shù)據(jù)中心網(wǎng)絡(luò)白皮書》，其中介紹了商湯與華為共同解決Al時代數(shù)據(jù)中心網(wǎng)絡(luò)建設(shè)挑戰(zhàn)，以大規(guī)模連接性、智能負(fù)載均衡等能力，提高大規(guī)模集群吞吐量，提升訓(xùn)練效率，實現(xiàn)AI大模型的快速迭代。

　　▎高效大模型原生開發(fā)

      歷年來，商湯基于昇騰計算生態(tài)，共同推進(jìn)基礎(chǔ)模型、行業(yè)大模型應(yīng)用與創(chuàng)新。例如，商湯通過高效并行、通信優(yōu)化及網(wǎng)絡(luò)架構(gòu)感知和任務(wù)調(diào)度等軟硬優(yōu)化技術(shù)，構(gòu)建了大規(guī)模并行訓(xùn)練加速系統(tǒng)，其中102B模型的訓(xùn)練性能達(dá)到了業(yè)界的120%以上，同時單一任務(wù)集群規(guī)模擴(kuò)展至3倍，算力效率損失僅為3%?；跁N騰計算生態(tài)，商湯還建設(shè)長序列并行訓(xùn)練加速機(jī)制，與業(yè)界相比，4K序列性能提升1倍以上，32K序列性能持平，甚至還能處理128K長序列訓(xùn)練。目前，商湯日日新大模型從底層軟件棧的接入到基礎(chǔ)框架優(yōu)化、再到模型原生開發(fā)，在性能、穩(wěn)定性等關(guān)鍵參數(shù)方面超過業(yè)界。

　　▎提供端到端的大模型創(chuàng)新支持

　　通過與昇騰團(tuán)隊合作，商湯將全棧大模型生產(chǎn)能力產(chǎn)品化，構(gòu)建了從基礎(chǔ)層、模型層、串聯(lián)層到應(yīng)用層的高效、完備、易用的大模型生產(chǎn)工具鏈。通過大模型生產(chǎn)工具鏈，商湯大裝置可為客戶提供涵蓋算力、軟件平臺部署及模型遷移等端到端的大模型自主創(chuàng)新落地全流程業(yè)務(wù)服務(wù)。

　　不僅如此，面向不同客戶的特定應(yīng)用場景需求，商湯還可提供業(yè)務(wù)流設(shè)計、應(yīng)用編排、數(shù)據(jù)迭代等增值服務(wù)，助力客戶從0到1建立完整的AI能力體系。同時，針對客戶不同的吞吐量、部署規(guī)模等要求，商湯還會進(jìn)行專項性能優(yōu)化，幫助客戶進(jìn)行極致性價比提升，實現(xiàn)成本效益最大化。

　　▎攜手共建開放、共享的大模型創(chuàng)新生態(tài)

　　從基礎(chǔ)設(shè)施的構(gòu)建，到大模型的突破，再到應(yīng)用的繁榮，商湯與華為一直是堅實伙伴。此前，商湯大裝置AI云、日日新·商量大語言模型、商湯醫(yī)療大模型“大醫(yī)”先后通過與Atlas系列服務(wù)器的相互兼容性測試，為客戶提供更為安全、高效、可靠的人工智能全棧解決方案和應(yīng)用體驗。商湯基礎(chǔ)大模型、行業(yè)大模型基于昇騰原生開發(fā)，持續(xù)探索在技術(shù)聯(lián)創(chuàng)、產(chǎn)業(yè)共建等方面的合作，在本次華為全聯(lián)接大會上，商湯科技獲得“2024昇騰生態(tài)最佳實踐伙伴獎”。

　　今年7月，商湯還獲頒“最佳昇騰原生開發(fā)伙伴獎”，以及昇騰“領(lǐng)先級應(yīng)用軟件伙伴獎”， 展現(xiàn)了商湯在推動開放、共享的大模型創(chuàng)新生態(tài)建設(shè)中的積極作用。通過不斷的技術(shù)聯(lián)創(chuàng)與資源共享，商湯將持續(xù)助力昇騰計算生態(tài)發(fā)展，并攜手為客戶提供更加高效、便捷的智算服務(wù)，推動AI在各行業(yè)的廣泛應(yīng)用與深入融合。