文/Muhammad Ahmad,希捷科技高級工程師,開源戰(zhàn)略主管
數(shù)據(jù)即價值。但是,僅僅擁有可用的數(shù)據(jù)并不意味著可以充分利用數(shù)據(jù)價值。企業(yè)要思考一個關(guān)鍵問題:我們?nèi)绾伟l(fā)掘數(shù)據(jù)中蘊(yùn)藏的卻又難以觸及的潛力,不斷推進(jìn)目標(biāo)并增加營收?為了尋求答案,企業(yè)越來越多地訴諸于開源解決方案。
企業(yè)正在評估并完善開放式架構(gòu),從而將計(jì)算、網(wǎng)絡(luò)和存儲資源整合在一起??蓴U(kuò)展的硬件基礎(chǔ)架構(gòu)支持軟件的不斷集成和開發(fā)。與神秘的封閉架構(gòu)不同,開源軟件以及越來越多的硬件提供更好的可視性和控制性,從而打破協(xié)作障礙,使科技產(chǎn)業(yè)更為民主化。
2018年IDC TechScape研究發(fā)現(xiàn):“大多數(shù)重要的新興技術(shù)都是部分或全部由開源組件構(gòu)成,這為行業(yè)未來的走向指明了方向?!?/p>
開源架構(gòu)優(yōu)勢明顯:
1. 開源意味著相關(guān)代碼可以得到業(yè)內(nèi)同行共同審查,一起改進(jìn)。
2. 開源將研發(fā)成本分散開來,企業(yè)共同分擔(dān)解決問題的費(fèi)用。
3. 在開放環(huán)境中,安全性也得到強(qiáng)化。由于更多人查看代碼,bug也更容易被發(fā)現(xiàn)。
精于軟件
我就職的希捷科技40多年來一直是全球領(lǐng)先的數(shù)據(jù)存儲解決方案提供商,屬于硬件陣營。但是,由于創(chuàng)新同樣來源于開源世界,我們努力突破硬件廠商的局限,在軟件領(lǐng)域不斷創(chuàng)新,力圖在軟件方面有所作為。
多年來,希捷一直在資助Linux基金會和圣克魯斯大學(xué)開源軟件研究中心等專注于軟件開發(fā)的組織和基金會,以及RISC-V和OpenTitan等開源硬件基金會。我們正在相應(yīng)地優(yōu)化軟硬件系統(tǒng),改善對象存儲。
硬件公司在軟件領(lǐng)域能做什么?軟件中的任何更新都會在硬件中體現(xiàn)出來,反之亦然。硬件和軟件互為陰陽,任何一方都需要不斷創(chuàng)新以跟上另外一方的要求。數(shù)據(jù)的流動需要軟件和硬件協(xié)同來實(shí)現(xiàn)。硬件設(shè)計(jì)的經(jīng)驗(yàn)為軟件層的數(shù)據(jù)處理提供洞見。同時從軟件世界中汲取的經(jīng)驗(yàn)教訓(xùn)也有助于硬件的設(shè)計(jì)優(yōu)化。
開源架構(gòu)與數(shù)據(jù)存儲解決方案正在共同致力于如下問題:多云、數(shù)據(jù)流、數(shù)據(jù)訪問、數(shù)據(jù)可視性以及安全性。
· 多云
隨著企業(yè)從公有云轉(zhuǎn)向多云,企業(yè)期望混合云能兼具公有云的便捷靈活,以及私有云的自主可控。開源項(xiàng)目包括Apache Hadoop和Ceph,支持存儲的橫向擴(kuò)展,幫企業(yè)通過擴(kuò)展計(jì)算與存儲搭建更強(qiáng)大的私有云,實(shí)現(xiàn)多云部署。
硬件如何發(fā)揮作用?針對工作負(fù)載優(yōu)化的硬件集群以模塊化部署,輔助以橫向擴(kuò)展的軟件生態(tài)系統(tǒng),將幫助企業(yè)搭建私有云。如果系統(tǒng)需要低延遲,則全閃存陣列SSD是適當(dāng)?shù)慕鉀Q方案;如果私有云需要海量存儲,則硬件架構(gòu)需要容納獨(dú)立的構(gòu)建模塊。
· 數(shù)據(jù)流
由于邊緣、物聯(lián)網(wǎng)和其他技術(shù)的興起,數(shù)據(jù)正在從邊緣到核心爆發(fā)。到2025年,數(shù)據(jù)圈將達(dá)到175ZB。在哪里以及如何存儲和處理所有這些數(shù)據(jù)?開源軟件提供了構(gòu)建模塊,基礎(chǔ)架構(gòu)設(shè)計(jì)師能夠開發(fā)針對不同應(yīng)用進(jìn)行優(yōu)化的解決方案。例如,開源流處理平臺Kafka;構(gòu)建在Hadoop上的數(shù)據(jù)倉庫框架Hive;以及將數(shù)據(jù)存儲在操作系統(tǒng)數(shù)據(jù)庫的解決方案Redis,等等。
這對硬件意味著什么?哪些構(gòu)建模塊組合在一起去獲取所需的數(shù)據(jù)?用什么速度去獲???使用什么工具進(jìn)行數(shù)據(jù)分析?所有這些都關(guān)系到如何配置計(jì)算和存儲組件。為促進(jìn)云基礎(chǔ)架構(gòu)的有機(jī)增長,可隨時組合和拆分的架構(gòu)將更能發(fā)揮資源的效率。
· 數(shù)據(jù)訪問
由于數(shù)據(jù)需求指數(shù)級增長,數(shù)據(jù)訪問更為重要。硬盤容量的增加將滿足于存儲密度的需求,數(shù)據(jù)的讀寫速度也要提升,而整體成本也要進(jìn)一步下降。
硬件有什么作用?研究人員不斷革新NAND技術(shù),在保持同等水平延遲和帶寬的同時,降低成本。雙磁臂等技術(shù)正在為大容量設(shè)備提供更高的IOPS性能。這為架構(gòu)師們提供了更多的選擇,使他們能夠配置滿足各種應(yīng)用需求的系統(tǒng)。
· 數(shù)據(jù)的可視性
軟硬件集成的另一方面是對系統(tǒng)信息的可視性需求。軟件的大趨勢是自動編排并自動管理多云基礎(chǔ)架構(gòu)。Kubernetes容器編排生態(tài)系統(tǒng)與Prometheus等成熟的開源工具相結(jié)合,即可創(chuàng)新架構(gòu)的自主管理。
硬件世界的數(shù)據(jù)可視性如何保證?溫度和振動等因素的可視性對硬件的優(yōu)化十分重要。通過硬件與固件層面的創(chuàng)新,相應(yīng)的人工智能工具得以應(yīng)用,獲取更清晰的遙測數(shù)據(jù)與監(jiān)測指標(biāo)。企業(yè)設(shè)備可以開放公開日志,提供更多詳細(xì)信息。希捷FARM就是這樣一種日志管理工具,幫助企業(yè)有效管理硬盤健康狀況,提升系統(tǒng)性能與穩(wěn)定性。
· 數(shù)據(jù)安全
按照《通用數(shù)據(jù)保護(hù)條例》(GDPR)等法規(guī)規(guī)定,數(shù)據(jù)的溯源、移動、計(jì)算和存儲的需求不斷增長。開源解決方案更流行,這是因?yàn)殚_放源代碼增加了可信度。
這在硬件上如何體現(xiàn)? RISC-V架構(gòu)是一個開源的電子指令集,專注于低成本、低功耗和高安全性,幫助企業(yè)通過共享模式更快地設(shè)計(jì)、開發(fā)電子產(chǎn)品芯片。
無論挑戰(zhàn)涉及安全性、可視性、數(shù)據(jù)訪問、數(shù)據(jù)流還是多云,硬件都必須關(guān)注軟件世界。因?yàn)橐坏┥婕暗綌?shù)據(jù),硬件和軟件注定要相互成就,相伴相生。