如今,大數(shù)據(jù)正在成為眾多企業(yè)單位的重要的工具,而隨著數(shù)據(jù)本身的加速增長,用戶們所部屬的存儲和數(shù)據(jù)管理發(fā)難變得越來越重要。而由于用戶面臨的各種挑戰(zhàn),比如實施分析工具和掌控大型數(shù)據(jù)文件等,它們也需要找到更為適合的存儲方案。
使用元數(shù)據(jù)和政策管理
政策管理是另一個很重要的功能,即使是用元數(shù)據(jù)來實施或驅(qū)動一些功能。這也給非結(jié)構(gòu)化數(shù)據(jù)帶來了一定的靈活的結(jié)構(gòu),同時剔除了與結(jié)構(gòu)化數(shù)據(jù)管理相關(guān)的限制或約束。
找到合適的媒介
找到合適的存儲媒介能夠幫助用戶滿足它的需求。硬盤驅(qū)動器(HDD)長期以來是流行的方式來為許多應用提供均衡的性能、容量、存儲密度和成本效率。而隨著用戶需要在更長的時間內(nèi)保存更多的數(shù)據(jù),這個趨勢將繼續(xù)。
大數(shù)據(jù)還可以得益于如今的使用動態(tài)隨機訪問記憶體或NAND閃存記憶體--或兩者結(jié)合--來支持帶寬需求的固態(tài)驅(qū)動器解決方案。SSD可以被用于存儲元數(shù)據(jù)和其他經(jīng)常被訪問的數(shù)據(jù)。而曾經(jīng)的“元老”---磁帶也將在大數(shù)據(jù)中扮演幾種角色,這些角色包括定時地將大量數(shù)據(jù)遷移,提供歸檔或為磁盤上的數(shù)據(jù)提供備份。
降低大數(shù)據(jù)的資源占用
重復數(shù)據(jù)刪除并不總是最大化大數(shù)據(jù)容量的有效方式。用戶可以考慮其他工具、技術(shù)來緩解由于存儲和保護不斷增長的數(shù)據(jù)集而帶來的壓力。
重新思考如何、何時、何地以及為何數(shù)據(jù)要被保護是另一個降低數(shù)據(jù)占用的方法。數(shù)據(jù)壓縮(實時的或異步的),用不同的壓縮算法來降低存儲需求也是減少數(shù)據(jù)占用的技術(shù)之一。
考慮存儲系統(tǒng)選項
一些用于分析工具的大數(shù)據(jù)解決方案采用集群或網(wǎng)格的配置內(nèi)部或?qū)S么鎯σ约皯贸绦蜍浖男袠I(yè)標準x86或ia64服務器。大數(shù)據(jù)應用程序還可以利用現(xiàn)有的針對不同使用情境進行優(yōu)化的存儲系統(tǒng)。一些用于傳統(tǒng)的高性能計算的存儲系統(tǒng)可能適合于使用塊或文件訪問方式的帶寬密集型并發(fā)或并行訪問應用程序。
保護和服務于大數(shù)據(jù)
保護大數(shù)據(jù)要求基本的可靠性、可用性和可服務性。用戶還必須確保數(shù)據(jù)的完整性和耐用性,執(zhí)行后端數(shù)據(jù)檢查來探測校驗碼或保護錯誤和比特損壞等意外情況。這些后端檢查必須對正常運行的操作是透明的,而且必須在它們發(fā)展成問題之前糾正這些情況。
用戶須重新檢查RAID(獨立磁盤冗余陣列)水平以優(yōu)化他們的大數(shù)據(jù)存儲解決方案。需要考慮得因素包括有多少驅(qū)動器在RAID池或組中,數(shù)據(jù)塊或I/O大小,以及正在使用的設(shè)備的大小和類型,哪些可以進行優(yōu)化以便適應更小量的數(shù)據(jù)。