2018年全球共產(chǎn)生了32個(gè)ZB的數(shù)據(jù)(ZB是10的12次方GB),在4年后我們將進(jìn)入一個(gè)階段性的ZB級數(shù)據(jù)時(shí)代,每年將會(huì)產(chǎn)生超過100個(gè)ZB的數(shù)據(jù)量。隨著5G、IoT、AI和深度學(xué)習(xí)、超高清技術(shù)的發(fā)展,數(shù)據(jù)將產(chǎn)生爆炸性的增長,同時(shí)也對數(shù)據(jù)存儲(chǔ)提出新的挑戰(zhàn)。2019年9月11日,西部數(shù)據(jù)產(chǎn)品市場部副總裁朱海翔先生就下一代存儲(chǔ)創(chuàng)新為主題在2019世界計(jì)算機(jī)大會(huì)上進(jìn)行了主題演講。
西部數(shù)據(jù)公司產(chǎn)品市場部副總裁朱海翔先生
西部數(shù)據(jù)公司產(chǎn)品市場部副總裁朱海翔表示:“數(shù)據(jù)正悄然無聲地產(chǎn)生于我們?nèi)粘I畹狞c(diǎn)滴之中。隨著萬物互聯(lián)的發(fā)展,我們已經(jīng)來到了數(shù)據(jù)大爆炸的時(shí)代。相信流媒體發(fā)展產(chǎn)生的數(shù)據(jù)表現(xiàn)能夠快速引起大家的共鳴:一部40集的電視劇,在高清格式下需要有大概69GB的存儲(chǔ)空間,而到了現(xiàn)在4K超高清的畫質(zhì)下,我們則需要大約480GB的存儲(chǔ)容量,這相當(dāng)于之前所需存儲(chǔ)容量的約7倍。在今天,我們可以看到很多的數(shù)據(jù)還是以人為產(chǎn)生的為主;但預(yù)計(jì)到了2023年,全世界超過90%的數(shù)據(jù)都會(huì)由機(jī)器自動(dòng)產(chǎn)生。針對這些爆炸性的數(shù)據(jù),我們有必要重新審視當(dāng)今的存儲(chǔ)能不能滿足數(shù)據(jù)中心急劇增長的發(fā)展需求。如何滿足數(shù)據(jù)增長的存儲(chǔ)需求,是時(shí)代交給西部數(shù)據(jù)的命題?!?/p>
成本:數(shù)字和邏輯的維度
從標(biāo)清提升到超高清用戶在視覺上獲得更好的體驗(yàn),而背后的數(shù)據(jù)則呈指數(shù)級增長,超高清的存儲(chǔ)量約是標(biāo)清的16倍,數(shù)據(jù)的存儲(chǔ)量也呈現(xiàn)指數(shù)級的增長,隨著未來90%的數(shù)據(jù)都由機(jī)器自動(dòng)產(chǎn)生,將呈現(xiàn)爆發(fā)式的數(shù)據(jù)存儲(chǔ)需求。西部數(shù)據(jù)認(rèn)為利用更多數(shù)據(jù)產(chǎn)生過程和特性的改變,以有效、低成本、高密度的方式存儲(chǔ)數(shù)據(jù),是應(yīng)對數(shù)據(jù)存儲(chǔ)結(jié)構(gòu)變化的有效措施。
以目前的存儲(chǔ)技術(shù)全球存儲(chǔ)的數(shù)據(jù)僅15%被留存下來,到2023年在技術(shù)不變的前提下大約只有10%的數(shù)據(jù)留存,其余高達(dá)90%的數(shù)據(jù)因成本和收益等原因被放棄,在大數(shù)據(jù)時(shí)代每一行數(shù)據(jù)都是有潛在價(jià)值的,數(shù)據(jù)是時(shí)代的新貨幣言下之意就是在產(chǎn)生數(shù)據(jù)的時(shí)候你沒有意識到數(shù)據(jù)的價(jià)值,而在后期分析中將挖掘出數(shù)據(jù)的價(jià)值,兼顧數(shù)據(jù)存儲(chǔ)的有效性和低成本是未來的一大趨勢。
在NAND FLASH工藝制程經(jīng)常能聽到24層、48層、96層,對于追求成本的企業(yè)來說并非工藝制程越高就越合適,朱海翔做了一個(gè)生動(dòng)的形容:“在舊金山市中心有一幢61層的大廈,將其比喻成64層的的3D NAND,每層增加都是需要增加成本的,所以你從來看不到200層的大廈?!?/p>
縱向增加的層數(shù)都會(huì)反映在成本上,而結(jié)合橫向和縱向的維度就產(chǎn)生了第三個(gè)數(shù)字和邏輯的維度,當(dāng)閃存孔每單元存儲(chǔ)422個(gè)比特,為了保持在高效的4kb狀態(tài)下,推進(jìn)邏輯擴(kuò)展到邊界是一個(gè)很好的辦法,通過QLC的邏輯擴(kuò)展成本得以控制并獲得極佳的訪問性能,而同時(shí)也產(chǎn)生了OP的限制問題。
面向未來的分區(qū)存儲(chǔ)架構(gòu)
西部數(shù)據(jù)擁有非常成熟的HDD技術(shù)儲(chǔ)備,HDD的技術(shù)演進(jìn)是基于系統(tǒng)的架構(gòu)來創(chuàng)建的,在過去十幾年西部數(shù)據(jù)一直在推進(jìn)HDD單盤的存儲(chǔ)量,傳統(tǒng)的垂直記錄技術(shù)已經(jīng)到達(dá)邊界,全新的疊瓦式磁記錄技術(shù)(SMR)增通過邏輯擴(kuò)展再次不斷刷新單盤面密度的新紀(jì)錄。
預(yù)計(jì)到2002年全球數(shù)據(jù)中心的HDD將有一半會(huì)轉(zhuǎn)向疊瓦式磁記錄技術(shù)的HDD,同時(shí)西部數(shù)據(jù)也會(huì)推進(jìn)閃存技術(shù)的發(fā)展,隨著數(shù)據(jù)量的爆發(fā)式增長,數(shù)據(jù)中心將面臨超大負(fù)載會(huì)產(chǎn)生巨大的資源需求和成本開銷。機(jī)器產(chǎn)生的數(shù)據(jù)具有順序?qū)懭氲奶匦裕ㄟ^分區(qū)存儲(chǔ)設(shè)備對工作負(fù)載進(jìn)行合理優(yōu)化,從而性能性能、效率,更快的實(shí)現(xiàn)TCO的降低。
分區(qū)存儲(chǔ)架構(gòu)通過應(yīng)用層、主機(jī)和存儲(chǔ)協(xié)同數(shù)據(jù)存放位置,利用SMR HDD實(shí)現(xiàn)最的存儲(chǔ)容量,并通過新興分區(qū)命名空間(ZNS)標(biāo)準(zhǔn)的NVMe SDD實(shí)現(xiàn)耐久性和低延遲以及QoS性能,以彌補(bǔ)OP的限制問題,由SMR和ZNS SSD組成的分區(qū)存儲(chǔ)架構(gòu)是實(shí)現(xiàn)優(yōu)化基礎(chǔ)架構(gòu)實(shí)現(xiàn)更大規(guī)模經(jīng)濟(jì)效益的面向未來的全新存儲(chǔ)架構(gòu),目前西部數(shù)據(jù)基于開源的模式,和全球主要廠商和OEM廠商建立聯(lián)盟,在今年10月份共同推行分區(qū)存儲(chǔ)結(jié)構(gòu)的標(biāo)準(zhǔn)化。
從數(shù)據(jù)架構(gòu)角度來看,分區(qū)存儲(chǔ)結(jié)構(gòu)是一次真正改變存儲(chǔ)效能的演進(jìn),特別是滿足新興的技術(shù)產(chǎn)生的大存儲(chǔ)量數(shù)據(jù), 分區(qū)存儲(chǔ)技術(shù)能更好的不同行業(yè)的發(fā)展。