在企業(yè)級存儲領(lǐng)域,企業(yè)組織并不一定需要利用超大規(guī)模的解決方案。但這恰恰正是當(dāng)許多IT基礎(chǔ)設(shè)施、操作運營和DevOps專家們在第一次了解超大規(guī)模這一概念時所認(rèn)為的。
當(dāng)下較為流行的理念是:超大規(guī)模的架構(gòu)注定成為非常大型的基礎(chǔ)設(shè)施——就像那些由LinkedIn、亞馬遜或Netflix運營的設(shè)施——因為其可以擴(kuò)展到成千上萬的實例和PB級的數(shù)據(jù)。但事實證明,我們最好將超大規(guī)模理解為其描述的是一種方法,而不是規(guī)模大小。其是關(guān)于自動化、業(yè)務(wù)流程、以及當(dāng)按照業(yè)務(wù)需求實現(xiàn)IT規(guī)模的智能化。超大規(guī)模的部署可以而且應(yīng)該從小處做起,然后逐步擴(kuò)展下去。他們也應(yīng)該讓您的企業(yè)組織能夠根據(jù)自己的具體業(yè)務(wù)需求,單獨對部分的基礎(chǔ)設(shè)施實施規(guī)?;?,而這是與另一種新興的企業(yè)數(shù)據(jù)中心的趨勢超級融合(hyperconvergence)基礎(chǔ)設(shè)施相反的。
困惑了嗎?如果是這樣的話,其實您并不是唯一對此感到困惑的。下面就讓我們更深入的分析這一點吧。
超大規(guī)模的界定
構(gòu)建超大規(guī)模架構(gòu)的概念是被許多的膚淺的術(shù)語所混淆了。特別是,我們的客戶看到諸多包括了超級融合、超大規(guī)模(或網(wǎng)絡(luò)規(guī)模)、融合、軟件定義的和商品化的基礎(chǔ)設(shè)施等等概念時,是很難不產(chǎn)生困惑的。
那么,讓我們先花一定的時間來明確一下關(guān)于這些要素條件的定義吧:
• 軟件定義的:基礎(chǔ)設(shè)施的功能是完全與底層的硬件解耦的,并同時具備可擴(kuò)展性和可編程性。讀者朋友們可以通過這篇文章來進(jìn)一步詳細(xì)了解我們關(guān)于軟件定義的存儲的闡述。
• 商品化的:商品化的基礎(chǔ)設(shè)施或按照行業(yè)標(biāo)準(zhǔn)打造的基礎(chǔ)設(shè)施,通常配備一個x86機架或刀片服務(wù)器。我們過去曾多次提及不要將商品化的基礎(chǔ)設(shè)施與廉價商品混為一談。
• 融合:擴(kuò)展架構(gòu)的服務(wù)器、存儲、網(wǎng)絡(luò)、虛擬化/集裝箱式組件捆綁在一起作為一個預(yù)測試、預(yù)集成的解決方案。在這種體系結(jié)構(gòu)中,組件仍然是不同的。
• 超級融合的:擴(kuò)展的架構(gòu)朝著融合基礎(chǔ)設(shè)施更進(jìn)一步,通過將軟件定義的組件與商品化的硬件結(jié)合,封裝成一個單一的解決方案——其通常是一款單一的設(shè)備。組件不再是不同的。
• 超大規(guī)模:規(guī)模擴(kuò)展的架構(gòu),同時也是軟件定義和商品化的,但其服務(wù)器、存儲、網(wǎng)絡(luò)、虛擬化/集裝箱式資源仍然是保持獨立的。每個組件是不同的,可以獨立縮放。
綜上所述,超級融合的基礎(chǔ)設(shè)施是現(xiàn)代化的、合乎極端邏輯的融合系統(tǒng);而超大規(guī)模則是現(xiàn)代化的、合乎極端邏輯的我們已經(jīng)部署了30年的數(shù)據(jù)中心的方式。兩者在特定的環(huán)境下都有其意義,如下圖所示。
超大規(guī)模和超級融合的
在Hedvig公司,我們努力提供一款存儲解決方案,其可以靈活地定制任何工作負(fù)載,從包括Docker和OpenStack在內(nèi)的私有云,到部署運行在Hadoop或NoSQL的大數(shù)據(jù),再到更為傳統(tǒng)的服務(wù)器虛擬化、災(zāi)難恢復(fù)、備份和歸檔。Hedvig公司在服務(wù)器集群或云中的分布式存儲平臺虛擬化、聚集式flash閃存以及轉(zhuǎn)盤式磁盤呈現(xiàn)為一個單一的、彈性的存儲系統(tǒng),可以通過文件、塊或?qū)ο蠼涌谶M(jìn)行訪問。
Hedvig分布式存儲平臺由三部分組成:
• Hedvig存儲服務(wù):專利的分布式系統(tǒng)引擎,擁有規(guī)?;鎯π阅芎同F(xiàn)成的x86和ARM服務(wù)器容量能力。該Hedvig存儲服務(wù)可以運行在企業(yè)內(nèi)部部署或諸如AWS、Azure、谷歌等公共云服務(wù)上。其提供了企業(yè)部署所需的所有的存儲選項和功能,包括內(nèi)聯(lián)重復(fù)數(shù)據(jù)刪除、內(nèi)聯(lián)數(shù)據(jù)壓縮、快照、克隆、自動精簡配置,自動分層和緩存。
• Hedvig存儲代理:一個輕量級虛擬機或container容器可以使得用戶能夠通過行業(yè)標(biāo)準(zhǔn)協(xié)議訪問Hedvig存儲服務(wù)。Hedvig目前支持NFS文件和iSCSI塊,以及OpenStack Cinder和Docker drivers。Hedvig存儲代理還允許客戶端緩存,利用本地SSD和PCIe閃存資源刪除重復(fù)數(shù)據(jù),以實現(xiàn)本地的快速讀取和高效的數(shù)據(jù)傳輸。
• Hedvig APIs:基于REST和RPC的API用于對象存儲和Hedvig操作。Hedvig公司目前支持Amazon S3和Swift對象存儲。開發(fā)人員和IT操作管理員可以使用API管理以訪問所有的Hedvig存儲功能,以通過自助服務(wù)門戶網(wǎng)站,應(yīng)用程序和云服務(wù)實現(xiàn)自動化配置和管理。
Hedvig通過捆綁Hedvig存儲代理和Hedvig存儲服務(wù),作為一種運行在具備管理程序或容器操作系統(tǒng)商品化服務(wù)器上的虛擬設(shè)備支持超級融合。對于超大規(guī)?;A(chǔ)設(shè)施,Hedvig存儲服務(wù)被部署在裸機服務(wù)器上,以形成一個專門的存儲層,而Hedvig存儲代理作為一個虛擬機或container容器被部署在每臺服務(wù)器上的計算層。
為什么要選擇超大規(guī)模存儲?
現(xiàn)如今,企業(yè)組織數(shù)據(jù)增長的速度遠(yuǎn)遠(yuǎn)快于其存儲預(yù)算。而尤其對于那些經(jīng)濟(jì)狀況堪憂的企業(yè)而言,他們沒有像亞馬遜、谷歌和Facebook那樣的網(wǎng)絡(luò)資源。因此,企業(yè)組織必須接受軟件定義的產(chǎn)品和商品化的儲存,以便能夠降低成本,并同時保持靈活性和可擴(kuò)展性,以跟上業(yè)務(wù)發(fā)展的需求。
在Hedvig公司,我們注意到大約80%的情況下,企業(yè)用戶往往都會選擇一款超大規(guī)模的架構(gòu),而不是超融合的,盡管對于這二者我們都是支持的。而更有趣的是,許多來向我們尋求解決方案的客戶往往都與我們具有相反的思維。最初,約80%的客戶都會咨詢關(guān)于超融合的解決方案,但是在他們根據(jù)自己的實際需求狀況進(jìn)行了仔細(xì)調(diào)研之后,他們選擇的是超大規(guī)模的方法。
為什么呢?簡而言之,因為當(dāng)他們在部署其基礎(chǔ)設(shè)施架構(gòu)的時候,他們傾向于靈活性(或敏捷,如果您一定要使用該術(shù)語的話)要高于一切。考慮以下因素:
• 一套超融合的系統(tǒng)提供了一個簡化的類似于“搭積木”的方法來構(gòu)建IT。對于那些正在尋求降低部署的開銷,并擴(kuò)大其云基礎(chǔ)設(shè)施的精益IT組織而言,超融合提供了一個良好的解決方案。但其需要一套相對可預(yù)測的工作負(fù)載,在“數(shù)據(jù)本地化”是一個首要任務(wù),這意味著應(yīng)用程序或虛擬機必須盡可能的接近數(shù)據(jù)。這就是為什么VDI 會成為超融合的一個典型代表的原因所在了。用戶希望自己的“虛擬C:驅(qū)動器”本地化。但這是不靈活的,因為其涉及所有元素的同步縮放。
• 一款超大規(guī)模的系統(tǒng)保持存儲獨立計算,從而使得企業(yè)能夠在其業(yè)務(wù)需要時規(guī)模化其IT能力。數(shù)據(jù)中心和云基礎(chǔ)設(shè)施的超大規(guī)模的方法提供了一種高水平的彈性,幫助企業(yè)能夠快速響應(yīng)不斷變化的應(yīng)用程序和數(shù)據(jù)存儲需求。這也是一款類似于Hadoop和NoSQL、以及類似于OpenStack和Docker等云平臺架構(gòu)的更符合現(xiàn)代工作負(fù)載的架構(gòu)。所有這些都是從獨立的規(guī)?;s放共享存儲受益的分布式系統(tǒng)的例子。
我們從服務(wù)于我們的客戶的過程中所收獲到的經(jīng)歷便是加強了對于我們一直注意了一段時間的事情的確認(rèn):即超融合是一個并非用來探索現(xiàn)代存儲架構(gòu)的答案??梢钥隙ǖ氖?,源于其簡單性,這個行業(yè)正看到超融合經(jīng)歷著一個巨大的不穩(wěn)定的搖擺。但如果您企業(yè)的數(shù)據(jù)正呈指數(shù)級增長,但您企業(yè)的計算需求卻沒有,然后您企業(yè)會存在一個不匹配,并不適合超融合。
超大規(guī)模或超融合?
超融合可以是更簡單,更具成本效益的方法。然而,通過我們對于Hedvig公司的客戶的觀察發(fā)現(xiàn),企業(yè)客戶與Hedvig公司合作的原因在于我們能夠支持使得超大規(guī)模適合幾乎所有工作負(fù)載的這一功能:客戶端緩存。Hedvig可以在您企業(yè)的計算層利用本地的SSD和PCIe設(shè)備建立一個連續(xù)寫入緩存。這極大地提高了讀取性能。更重要的是,其解決了數(shù)據(jù)本地化的挑戰(zhàn)。存儲空間仍然是解耦的,并運行在自己的專屬的、超大規(guī)模層,而應(yīng)用程序、虛擬機、container容器則可以受益于數(shù)據(jù)在計算層的本地緩存。這也解決了如何增加您的緩存層的問題,但這是另一個主題了。
從這方面獲益的一個例子是,Hedvig公司的一家客戶為其VDI選擇了超大規(guī)模的方法,正如上面所討論的,這通常是一個留給超融合解決方案的工作負(fù)載。在這個例子中,這家企業(yè)客戶有“超級用戶”,需要16個vCPU和32GB的內(nèi)存,專門用于其每臺托管的桌面臺式機。結(jié)果,該公司被迫部署大量超融合節(jié)點,以支持處理進(jìn)程和內(nèi)存的需求,同時還增加了不必要的同步存儲容量。
借助Hedvig平臺,企業(yè)客戶可以創(chuàng)建專用的節(jié)點以便在擁有足夠的CPU和RAM的刀片服務(wù)器上運行Citrix XenDesktop集群。而數(shù)據(jù)被保存在機架式服務(wù)器的一個單獨的超大規(guī)模的Hedvig集群上,數(shù)據(jù)緩存被備份到本地SSD XenDesktop服務(wù)器。其結(jié)果是,大大減少了解決方案的昂貴開支(減少了60%)。更重要的是,其還提供了一個更靈活的環(huán)境,該公司可以按照摩爾定律,并購買最強大的服務(wù)器,以提升其臺式機的性能,而不必升級存儲服務(wù)器。
根據(jù)我們的經(jīng)驗,有一些簡單的經(jīng)驗法則能夠幫助您來確定哪些架構(gòu)更適合于您的企業(yè)組織。
• 選擇超大規(guī)模… 您的企業(yè)擁有5000名,甚至更多的員工數(shù)量,超過500百萬兆字節(jié)的數(shù)據(jù),超過500款的應(yīng)用程序,或超過1000臺虛擬機時。
• 選擇超融合…當(dāng)您所在的企業(yè)員工人數(shù)少于上面這一數(shù)字,只有五名或更少的專職員工來管理您的虛擬基礎(chǔ)設(shè)施,或您是遠(yuǎn)程或?qū)儆诜种C構(gòu)時。
好消息是,這其實并不是一個非此即彼的決定。您企業(yè)可以從部署一個超融合的環(huán)境開始,然后逐步切換到超大規(guī)模的,或者您可以混合匹配二者。我們的理念是,您企業(yè)的應(yīng)用程序決定了您應(yīng)該使用哪一款。當(dāng)您企業(yè)的應(yīng)用程序的需求隨時間發(fā)生變化時,您的相應(yīng)部署也應(yīng)該變化。
在現(xiàn)代企業(yè)中,相關(guān)的變化和增長都是強制性的。而沒有這些網(wǎng)絡(luò)巨頭率先發(fā)起的超大規(guī)模的架構(gòu),越來越?jīng)]有辦法解決這個難題了。而效應(yīng)的改變則是,任何一家企業(yè)現(xiàn)在都可以從超大規(guī)模的方式中受益了。