IDC報告顯示,預(yù)計到2020年全球數(shù)據(jù)總量將超過40ZB(相當(dāng)于4萬億GB),這一數(shù)據(jù)量是2011年的22倍。在過去幾年,全球的數(shù)據(jù)量以每年58%的速度增長,在未來這個速度會更快。如果按照現(xiàn)在存儲容量每年40%的增長速度計算,到2017年需要存儲的數(shù)據(jù)量甚至?xí)笥诖鎯υO(shè)備的總?cè)萘俊H绾卫么髷?shù)據(jù)解決科學(xué)、醫(yī)療、能源、商業(yè)、政府管理、城市建設(shè)等領(lǐng)域的問題,是全世界面臨的問題。
8月16日-18日,來自全球科研機(jī)構(gòu)和高校的計算領(lǐng)域泰斗和專家們在第30屆中國數(shù)據(jù)庫學(xué)術(shù)會議(NDBC 2013)上就未來的大數(shù)據(jù)存儲、計算展開了激烈和深入的討論。作為中國學(xué)術(shù)界計算和數(shù)據(jù)庫領(lǐng)域的最高規(guī)格年會,本次大會也吸引了包括EMC、SAP、華為、秒針系統(tǒng)、中科曙光、KoDB等國內(nèi)外知名大數(shù)據(jù)企業(yè)的參與,學(xué)界業(yè)界共同探討大數(shù)據(jù)發(fā)展的趨勢和應(yīng)用的前景,共同把握中國及世界大數(shù)據(jù)的發(fā)展前沿與未來。
在美國,大數(shù)據(jù)已經(jīng)發(fā)展到如火如荼的地步。從奧巴馬總統(tǒng)大選運用大數(shù)據(jù)分析選情到雅虎、谷歌等 IT企業(yè)依靠大數(shù)據(jù)改善用戶體驗和推送廣告、再到醫(yī)療衛(wèi)生機(jī)構(gòu)利用大數(shù)據(jù)提前預(yù)知流感,大數(shù)據(jù)已經(jīng)給美國社會帶來巨大的改變。盡管這些在美國還被認(rèn)為是“初級階段”,但放眼望去大數(shù)據(jù)時代已經(jīng)撼動了美國社會的方方面面,從商業(yè)科技到醫(yī)療、政府、教育、經(jīng)濟(jì)、人文以及社會的其他各個領(lǐng)域。
在國內(nèi),對于大數(shù)據(jù)的研究和討論,早在幾年前就開始了,而直到今年,才被業(yè)界喊出是“大數(shù)據(jù)的元年”,這主要是因為近幾年對研究大數(shù)據(jù)還主要只處在理論研究和數(shù)據(jù)收集的層面上,大數(shù)據(jù)真正落地的項目不多,而商業(yè)化的案例更是少之又少,大多都只是“空中花園”。但不乏有秒針、中科曙光等本土大數(shù)據(jù)公司,利用大數(shù)據(jù)存儲和計算技術(shù),幫助企業(yè)解決營銷、商業(yè)、數(shù)據(jù)計算等問題。
大數(shù)據(jù)正在滲透到社會組織的每一個細(xì)胞,幾乎對所有行業(yè)產(chǎn)生顛覆性和革命性的影響。但僅僅擁有大數(shù)據(jù)是不夠的,特別是在數(shù)據(jù)質(zhì)量普遍不高的情況下,海量數(shù)據(jù)產(chǎn)生的同時也產(chǎn)生了大量的數(shù)據(jù)噪音,如果不對大數(shù)據(jù)進(jìn)行有效的管理和分析,那么將無法讓大數(shù)據(jù)真正發(fā)揮作用,這也是學(xué)術(shù)界和業(yè)界共同面臨的問題,也是大數(shù)據(jù)真正從上層構(gòu)建到底層實現(xiàn)的關(guān)鍵問題。