2016 Sort Benchmark全球排序競賽中,騰訊云大數(shù)據(jù)聯(lián)合團隊宣布僅用不到99秒(98.8秒)完成100TB的數(shù)據(jù)排序
2016計算奧運會Sort Benchmark全球排序競賽中,騰訊云大數(shù)據(jù)聯(lián)合團隊宣布僅用不到99秒(98.8秒)完成100TB的數(shù)據(jù)排序,打破阿里云去年創(chuàng)造的329秒的紀錄。在更早前,百度創(chuàng)造的紀錄是716秒,Hadoop的紀錄是4222秒。
在這次競賽中,騰訊云數(shù)智分布式計算平臺,奪得Sort Benchmark大賽GraySort和MinuteSort的冠軍,總共創(chuàng)造四項世界紀錄,將去年阿里云的紀錄整體提高2倍到5倍。騰訊名列全球大數(shù)據(jù)第一梯隊領軍企業(yè),這也是全球大數(shù)據(jù)性能進化史的重要里程碑。
全球大數(shù)據(jù)性能進化史
每年全球頂尖公司和學術機構都會來參加該賽事,以評估軟硬件系統(tǒng)架構能力及最新研究成果。這項賽事包括四項比賽,騰訊云大數(shù)據(jù)聯(lián)合團隊參加的是含金量最高的GraySort和MinuteSort兩項排序競賽,重點評測大規(guī)模分布式系統(tǒng)的軟硬件架構能力及平臺的計算效率,以上兩項比賽均包括Indy(專用目的排序)和Daytona(通用目的排序)兩個子項。數(shù)智一舉奪得上述四個子項的冠軍,總體將去年的紀錄提高2倍到5倍。
GraySort競賽比拚的是如何在最短的時間內(nèi),將總共100TB,一共1萬億條無序的100字節(jié)紀錄,按照從小到大的順序進行排序。數(shù)智用時98.8秒完成100TB的數(shù)據(jù)排序,即每分鐘完成60.7TB的數(shù)據(jù)排序,去年冠軍的紀錄為18.2TB/分鐘。MinuteSort競賽,比拚的是在1分鐘之內(nèi)能夠完成多少數(shù)據(jù)量的排序。數(shù)智的成績?yōu)?分鐘完成55TB的排序,去年冠軍的紀錄是11TB,數(shù)智將這一數(shù)據(jù)量提升5倍。
Sort Benchmark四項世界紀錄對比
Sort Benchmark通過排序競賽考量一家公司或機構大規(guī)模計算能力的綜合實力,通過排序這個最基本的計算問題,不僅全面評測分布式系統(tǒng)軟件架構能力(如海量數(shù)據(jù)分布式存儲、計算任務切片調(diào)度、節(jié)點通信協(xié)調(diào)同步、數(shù)據(jù)計算監(jiān)控容災等性能),也評測了硬件架構能力(如服務器硬件選配、網(wǎng)絡架構調(diào)優(yōu)、
IDC規(guī)劃建設能力等)。在這次排序競賽中,騰訊云大數(shù)據(jù)聯(lián)合團隊在基礎架構上采用了512臺IBM的OpenPOWER服務器和邁絡思公司的100Gb互聯(lián)技術,這也讓騰訊云大數(shù)據(jù)產(chǎn)品的性能取得進一步提升。
此次參賽的騰訊云大數(shù)據(jù)聯(lián)合團隊由騰訊云存儲產(chǎn)品中心、騰訊數(shù)據(jù)平臺部組成。在對微信每天160億級別的多維分析場景中,數(shù)智能夠做到6秒返回結果;數(shù)智是騰訊云在互聯(lián)網(wǎng)海量數(shù)據(jù)處理經(jīng)驗之上,結合開源Hadoop生態(tài)和自研組件服務,對外提供的一站式數(shù)據(jù)分析與挖掘平臺,已在政府、傳統(tǒng)企業(yè)和互聯(lián)網(wǎng)企業(yè)中被深度應用。
免責聲明:本站所使用的字體和圖片文字等素材部分來源于互聯(lián)網(wǎng)共享平臺。如使用任何字體和圖片文字有冒犯其版權所有方的,皆為無意。如您是字體廠商、圖片文字廠商等版權方,且不允許本站使用您的字體和圖片文字等素材,請聯(lián)系我們,本站核實后將立即刪除!任何版權方從未通知聯(lián)系本站管理者停止使用,并索要賠償或上訴法院的,均視為新型網(wǎng)絡碰瓷及敲詐勒索,將不予任何的法律和經(jīng)濟賠償!敬請諒解!