目前，單一數(shù)據(jù)集容量超過幾十TB甚至數(shù)PB已不罕見，其規(guī)模大到無法在容許的時間內(nèi)用常規(guī)軟件工具對其內(nèi)容進行抓取、管理和處理。數(shù)據(jù)規(guī)模越大，處理的難度也越大，但對其進行挖掘可能得到的價值更大，這就是大數(shù)據(jù)熱的原因。
首先，大數(shù)據(jù)反映輿情和民意。網(wǎng)民在網(wǎng)上產(chǎn)生的海量數(shù)據(jù)，記錄著他們的思想、行為乃至情感，這是信息時代現(xiàn)實社會與網(wǎng)絡(luò)空間深度融合的產(chǎn)物，蘊含著豐富的內(nèi)涵和很多規(guī)律性信息。根據(jù)中國互聯(lián)網(wǎng)絡(luò)信息中心統(tǒng)計，2012年底我國網(wǎng)民數(shù)為5.64億，手機網(wǎng)民為4.2億，通過分析相關(guān)數(shù)據(jù)，可以了解大眾需求、訴求和意見。其次，企業(yè)和政府的信息系統(tǒng)每天源源不斷產(chǎn)生大量數(shù)據(jù)。根據(jù)賽門鐵克公司的調(diào)研報告，全球企業(yè)的信息存儲總量已達2.2ZB(1ZB等于1000EB)，年增67%。醫(yī)院、學校和銀行等也都會收集和存儲大量信息。政府可以部署傳感器等感知單元，收集環(huán)境和社會管理所需的信息。2011年，英國《自然》雜志曾出版?？赋觯热裟軌蚋行У亟M織和使用大數(shù)據(jù)，人類將得到更多的機會發(fā)揮科學技術(shù)對社會發(fā)展的巨大推動作用。
大的數(shù)據(jù)并不是一種特定類型的數(shù)據(jù)。每一種非結(jié)構(gòu)化數(shù)據(jù)均可被視為大數(shù)據(jù)。這包括在社交網(wǎng)站上的數(shù)據(jù)、在線金融交易數(shù)據(jù)、公司記錄、氣象監(jiān)測數(shù)據(jù)、衛(wèi)星數(shù)據(jù)和其他監(jiān)控、研究和開發(fā)數(shù)據(jù)。大數(shù)據(jù)的量是巨大的而且是非結(jié)構(gòu)化的。
1、通過隔離管理大數(shù)據(jù)存儲
如果您在您的企業(yè)中有多個存儲箱，那么將數(shù)據(jù)庫、線交易處理(OLTP)和微軟Exchange應(yīng)用到特定的存儲系統(tǒng)絕對是一個好主意。而專其它存儲系統(tǒng)則用于大數(shù)據(jù)應(yīng)用，如門戶網(wǎng)站，在線流媒體應(yīng)用，等等。
如果您的企業(yè)負擔不起分隔的存儲系統(tǒng)，將特定的前端存儲端口到數(shù)據(jù)庫，OLTP，等等;致力于大數(shù)據(jù)應(yīng)用到其他端口。背后的基本原理是使用專用端口，而大數(shù)據(jù)流量是以千字節(jié)或兆字節(jié)衡量，OLTP應(yīng)用流量是以每秒的輸入/輸出操作(IOPS)衡量，因為數(shù)據(jù)塊的大小是比大數(shù)據(jù)更大而比OLTP應(yīng)用程序更小。OLTP應(yīng)用程序是CPU密集型的，而大數(shù)據(jù)應(yīng)用程序更多的使用前端端口。因此，更多的端口可以專注于大數(shù)據(jù)應(yīng)用。
2、大數(shù)據(jù)分析
如今，很多公司提供兼容數(shù)據(jù)管理的存儲系統(tǒng)。你應(yīng)該在尋找你的大數(shù)據(jù)存儲管理解決方案時評估這些公司。如EMCIsilon的集群存儲系統(tǒng)對于大數(shù)據(jù)存儲管理是一個更好的選擇，因為在一個單一的文件系統(tǒng)中大數(shù)據(jù)能增長到多字節(jié)的數(shù)據(jù)。除了存儲，大數(shù)據(jù)管理的另一項大的挑戰(zhàn)是數(shù)據(jù)分析。一般的數(shù)據(jù)分析應(yīng)用程序無法很好的處理大數(shù)據(jù)，畢竟涉及到大量的數(shù)據(jù)。
目前，諸如EMCGreenplum這樣的公司就在采用專門針對大數(shù)據(jù)的管理和分析的工具。這些應(yīng)用程序運行在集群存儲系統(tǒng)上，緩解大數(shù)據(jù)的管理。建議選擇應(yīng)用程序可同時工作在群集存儲系統(tǒng)，并迅速有效地分析數(shù)據(jù)?？焖偎饕?，確保元數(shù)據(jù)始終駐留在固態(tài)硬盤(SSD)，如果存儲箱為您提供了這樣的選擇的話。
管理大數(shù)據(jù)的另一個需要重點考慮的是未來的數(shù)據(jù)增長。你的大數(shù)據(jù)存儲管理系統(tǒng)應(yīng)該是可擴展的，足以滿足未來的存儲需求。
a&s傳媒是全球知名展覽公司法蘭克福展覽集團旗下的專業(yè)媒體平臺，自1994年品牌成立以來，一直專注于安全&自動化產(chǎn)業(yè)前沿產(chǎn)品、技術(shù)及市場趨勢的專業(yè)媒體傳播和品牌服務(wù)。從安全管理到產(chǎn)業(yè)數(shù)字化，a&s傳媒擁有首屈一指的國際行業(yè)展覽會資源以及豐富的媒體經(jīng)驗，提供媒體、活動、展會等整合營銷服務(wù)。
粵公網(wǎng)安備 44030402000264號
