2018年9月13日，NVIDIA推出全新人工智能數(shù)據(jù)中心平臺(tái)，為語(yǔ)音、視頻、圖像和推薦服務(wù)提供業(yè)界最先進(jìn)的推理加速，從而推動(dòng)全球AI服務(wù)的發(fā)展。
NVIDIA TensorRT? 超大規(guī)模推理平臺(tái)采用基于突破性的NVIDIA Turing?架構(gòu)的NVIDIA? Tesla? T4 GPU，以及一整套完整的新推理軟件。
該平臺(tái)可為端到端應(yīng)用提供最快性能和更低延遲，助力超大規(guī)模數(shù)據(jù)中心提供全新服務(wù)，例如增強(qiáng)型自然語(yǔ)言交互，以及對(duì)搜索查詢的給出直接答案而非模糊匹配的一系列結(jié)果。
NVIDIA副總裁兼加速業(yè)務(wù)總經(jīng)理Ian Buck表示：“未來(lái)人工智能將觸及每種產(chǎn)品和服務(wù)并為之帶來(lái)改進(jìn)，我們的客戶正在朝此方向發(fā)展。NVIDIA TensorRT超大規(guī)模平臺(tái)的設(shè)計(jì)旨在實(shí)現(xiàn)這一目標(biāo)，即比以往設(shè)想的更快、更高效。”
每天，大規(guī)模數(shù)據(jù)中心都會(huì)處理數(shù)以億計(jì)的語(yǔ)音查詢、翻譯、圖像、視頻、推薦和社交媒體交互。所有這些應(yīng)用的處理過(guò)程都需要在位于服務(wù)器上不同類(lèi)型的神經(jīng)網(wǎng)絡(luò)進(jìn)行。
為優(yōu)化數(shù)據(jù)中心以實(shí)現(xiàn)最高吞吐量和服務(wù)器利用率，NVIDIA TensorRT超大規(guī)模平臺(tái)包括實(shí)時(shí)推理軟件和Tesla T4 GPU，處理查詢的速度比僅采用CPU時(shí)快40倍。
NVIDIA預(yù)計(jì)AI推理行業(yè)有望在未來(lái)五年內(nèi)平穩(wěn)增長(zhǎng)至200億美元的市場(chǎng)。
先進(jìn)的AI推理平臺(tái)
NVIDIA TensorRT超大規(guī)模平臺(tái)包括一整套硬件和軟件產(chǎn)品，這些產(chǎn)品針對(duì)強(qiáng)大、高效的推理進(jìn)行了優(yōu)化。關(guān)鍵要素包括：
· NVIDIA Tesla T4 GPU – 搭載320個(gè)Turing Tensor Core和2560個(gè)CUDA? Core，這款全新GPU具有突破性的性能，以及靈活的多精度功能，從FP32到FP16再到INT8及INT4。它采用高能效的75瓦小型PCIe封裝，可輕松適用于大多數(shù)服務(wù)器。FP16的峰值性能為65 teraflops，INT8為130 teraflops，INT4為260 teraflops。
· NVIDIA TensorRT 5 - 推理優(yōu)化器和運(yùn)行時(shí)引擎，NVIDIA TensorRT 5支持Turing Tensor Core，并對(duì)適用于多精度工作負(fù)載的神經(jīng)網(wǎng)絡(luò)優(yōu)化集進(jìn)行了擴(kuò)展。
· NVIDIA TensorRT推理服務(wù)器 - 這一容器化的微服務(wù)軟件使應(yīng)用能夠在數(shù)據(jù)中心生產(chǎn)中采用AI模型。其在NVIDIA GPU Cloud容器注冊(cè)中免費(fèi)提供，可實(shí)現(xiàn)數(shù)據(jù)中心吞吐量和GPU利用率的最大化，支持所有常用AI模型和框架，并集成了Kubernetes和Docker。
全球技術(shù)領(lǐng)導(dǎo)者的支持
NVIDIA全新推理平臺(tái)獲得了全球領(lǐng)先的消費(fèi)級(jí)及企業(yè)級(jí)技術(shù)公司的支持。
微軟Bing和AI產(chǎn)品公司副總裁Jordi Ribas表示：“微軟致力于為客戶提供最具創(chuàng)新性的AI服務(wù)。在實(shí)時(shí)推理工作負(fù)載中，NVIDIA GPU的使用實(shí)現(xiàn)了Bing高級(jí)搜索產(chǎn)品的改進(jìn)，使我們能夠減少圖像的對(duì)象檢測(cè)延遲。我們期待采用NVIDIA的下一代推理硬件和軟件，讓人們能夠通過(guò)更多方式受益于AI產(chǎn)品和服務(wù)?！?/p>
Google Cloud產(chǎn)品經(jīng)理Chris Kleban表示：“AI越來(lái)越普及，推理是客戶成功部署AI模型所需的關(guān)鍵功能，因此我們非常高興很快Google云平臺(tái)將支持NVIDIA基于Turing架構(gòu)的Tesla T4 GPU ?！?/p>
包括所有主流服務(wù)器制造商在內(nèi)的其他公司也表示了對(duì)NVIDIA TensorRT超大規(guī)模平臺(tái)的支持，包括：
“思科的UCS產(chǎn)品組合提供策略驅(qū)動(dòng)的GPU加速系統(tǒng)和解決方案，可為AI全生命周期內(nèi)的每一階段提供有力支持。借助基于NVIDIA Turing架構(gòu)的NVIDIA Tesla T4 GPU，思科的客戶可訪問(wèn)最高效的AI推理工作負(fù)載加速器，更快地獲得洞察并加速展開(kāi)工作?！?/p>
——思科數(shù)據(jù)中心事業(yè)群產(chǎn)品管理副總裁Kaustubh Das
“Dell EMC致力于助力客戶實(shí)現(xiàn)IT轉(zhuǎn)型，同時(shí)受益于人工智能等方面的進(jìn)步。作為全球領(lǐng)先的服務(wù)器系統(tǒng)供應(yīng)商，Dell EMC不斷改進(jìn)PowerEdge服務(wù)器產(chǎn)品組合，以助力客戶最終實(shí)現(xiàn)其目標(biāo)。我們與NVIDIA密切合作，且一直以來(lái)都采用Tesla產(chǎn)品組合中的最新GPU加速器，這對(duì)于幫助我們的客戶在AI訓(xùn)練和推理方面保持領(lǐng)先地位起著至關(guān)重要的作用?！?/p>
——Dell EMC服務(wù)器和基礎(chǔ)設(shè)施系統(tǒng)產(chǎn)品管理和營(yíng)銷(xiāo)高級(jí)副總裁Ravi Pendekanti
“富士通計(jì)劃將NVIDIA的Tesla T4 GPU整合至我們?nèi)虻母皇客ǚ?wù)器PRIMERGY系統(tǒng)陣容中。利用NVIDIA最新的高效GPU加速器，我們將為全球客戶提供針對(duì)不斷增長(zhǎng)的AI需求而優(yōu)化的服務(wù)器?！?/p>
——富士通數(shù)據(jù)中心平臺(tái)業(yè)務(wù)部產(chǎn)品部副總裁Hideaki Maeda
“HPE致力于推進(jìn)邊緣智能，以加速獲得洞察并改善體驗(yàn)。借助基于NVIDIA Turing架構(gòu)的NVIDIA Tesla T4 GPU，我們將持續(xù)進(jìn)行數(shù)據(jù)中心現(xiàn)代化和加速，以實(shí)現(xiàn)邊緣推理。”
——HPE HPC和AI事業(yè)群副總裁兼總經(jīng)理Bill Mannel
“借助我們的深度學(xué)習(xí)訓(xùn)練和推理軟件PowerAI及IBM Power Systems AC922加速服務(wù)器，在簡(jiǎn)化的AI平臺(tái)上協(xié)同優(yōu)化的硬件和軟件使IBM Cognitive Systems能夠?qū)⑸疃葘W(xué)習(xí)訓(xùn)練速度提高4倍。我們一直以來(lái)與NVIDIA保持合作伙伴關(guān)系并開(kāi)展創(chuàng)新，共同開(kāi)發(fā)了IBM Power處理器上業(yè)界唯一的CPU至GPU NVIDIA NVLink連接，我們很高興能夠圍繞全新NVIDIA T4 GPU加速器展開(kāi)探索，進(jìn)一步擴(kuò)展在推理工作負(fù)載方面的業(yè)界領(lǐng)先地位?！?/p>
——IBM Power Systems產(chǎn)品管理副總裁Steve Sibley
“我們很高興看到NVIDIA通過(guò)NVIDIA TensorRT推理服務(wù)器為Kubernetes帶來(lái)GPU推理，并期待將其與Kubeflow集成，為用戶提供一種簡(jiǎn)單、可遷移且可擴(kuò)展的方式，以在各種基礎(chǔ)設(shè)施中部署AI推理?！?/p>
——Kubeflow聯(lián)合創(chuàng)始人兼產(chǎn)品經(jīng)理David Aronchick
“開(kāi)源跨框架推理對(duì)于機(jī)器學(xué)習(xí)模型的生產(chǎn)部署至關(guān)重要。我們很高興看到NVIDIA TensorRT推理服務(wù)器能夠?yàn)榇笠?guī)模服務(wù)的GPU和CPU推理提供強(qiáng)大的解決方案，并加快AI應(yīng)用部署并提高基礎(chǔ)設(shè)施利用率。”
——Oracle云基礎(chǔ)設(shè)施產(chǎn)品開(kāi)發(fā)副總裁Kash Iftikhar
“Supermicro致力于通過(guò)創(chuàng)新來(lái)應(yīng)對(duì)5G、智能城市和物聯(lián)網(wǎng)設(shè)備等技術(shù)驅(qū)動(dòng)下快速興起的高吞吐量推理市場(chǎng)，這些技術(shù)在持續(xù)產(chǎn)生大量數(shù)據(jù)并需要實(shí)時(shí)決策。我們認(rèn)為NVIDIA TensorRT與基于Turing架構(gòu)的T4 GPU加速器的結(jié)合是應(yīng)對(duì)這些新的要求苛刻且對(duì)延遲敏感的工作負(fù)載的理想組合，并計(jì)劃在我們的GPU系統(tǒng)產(chǎn)品線中大舉采用?！?/p>
— Supermicro總裁兼首席執(zhí)行官Charles Liang
您可能也喜歡這些文章
a&s傳媒是全球知名展覽公司法蘭克福展覽集團(tuán)旗下的專(zhuān)業(yè)媒體平臺(tái)，自1994年品牌成立以來(lái)，一直專(zhuān)注于安全&自動(dòng)化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場(chǎng)趨勢(shì)的專(zhuān)業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國(guó)際行業(yè)展覽會(huì)資源以及豐富的媒體經(jīng)驗(yàn)，提供媒體、活動(dòng)、展會(huì)等整合營(yíng)銷(xiāo)服務(wù)。
粵公網(wǎng)安備 44030402000264號(hào)
