大數(shù)據(jù)火爆，引發(fā)思想啟蒙

　　國(guó)際上，大數(shù)據(jù)還真是熱火朝天，各方都在積極行動(dòng)。一方面，政府積極介入推動(dòng)。2009年，聯(lián)合國(guó)啟動(dòng)“全球脈動(dòng)計(jì)劃”，借大數(shù)據(jù)推動(dòng)落后地區(qū)發(fā)展。2012年1月，世界經(jīng)濟(jì)論壇年會(huì)把“大數(shù)據(jù)、大影響”作為重要議題。美國(guó)從開(kāi)放政府?dāng)?shù)據(jù)、開(kāi)展關(guān)鍵技術(shù)研究和推動(dòng)大數(shù)據(jù)應(yīng)用三方面布局大數(shù)據(jù)產(chǎn)業(yè)。

　　美國(guó)在開(kāi)放政府上非常積極，通過(guò)Data.gov開(kāi)放37萬(wàn)個(gè)數(shù)據(jù)集，并開(kāi)放網(wǎng)站的API和源代碼，提供上千個(gè)數(shù)據(jù)應(yīng)用。除了推動(dòng)推動(dòng)本國(guó)政府?dāng)?shù)據(jù)開(kāi)放，美國(guó)倡導(dǎo)發(fā)起全球開(kāi)放政府?dāng)?shù)據(jù)運(yùn)動(dòng), 已有41個(gè)國(guó)家響應(yīng)。美國(guó)政府還投資兩億美元促進(jìn)大數(shù)據(jù)核心技術(shù)研究和和應(yīng)用，把大數(shù)據(jù)放在與集成電路、互聯(lián)網(wǎng)同等重要的位置，從國(guó)家層面推進(jìn)。

　　另一方面，資本市場(chǎng)也對(duì)大數(shù)據(jù)鐘愛(ài)有加。2012年4月，大數(shù)據(jù)分析公司Splunk高調(diào)IPO，引發(fā)投資者關(guān)注。12月初，為企業(yè)市場(chǎng)提供Hadoop解決方案的創(chuàng)業(yè)公司Cloudera在E輪融資中獲得6500萬(wàn)美元融資，估值約為7億美元。近期，高盛聯(lián)席主席斯科特·斯坦福說(shuō)：“投資大數(shù)據(jù)及其運(yùn)用回報(bào)率最高”。大數(shù)據(jù)領(lǐng)域的企業(yè)并購(gòu)熱度也在上升，單筆平均并購(gòu)金額方面，大數(shù)據(jù)超過(guò)云計(jì)算位居IT領(lǐng)域榜首，在總并購(gòu)額上也位居第二。

　　在各方力量的推動(dòng)下，大數(shù)據(jù)科研和產(chǎn)品開(kāi)發(fā)逐漸活躍起來(lái)。一個(gè)新概念的興起，最初往往會(huì)有人快速地“新瓶裝舊酒”。已經(jīng)存在好多年的 商業(yè)智能 、數(shù)據(jù)倉(cāng)庫(kù)等技術(shù)被重新包裝，以大數(shù)據(jù)系統(tǒng)的面目出現(xiàn)在市場(chǎng)上。這也使人困惑：到底大數(shù)據(jù)與傳統(tǒng)數(shù)據(jù)分析技術(shù)有什么差別？

　　可以說(shuō)大數(shù)據(jù)最重要的特征是將數(shù)據(jù)處理的對(duì)象擴(kuò)展到互聯(lián)網(wǎng)級(jí)別（Internet Scale），技術(shù)上的進(jìn)展主要包括：1）單數(shù)據(jù)集達(dá)到PB級(jí)別；2）非結(jié)構(gòu)化占主流；3）幾天至數(shù)秒內(nèi)完成高速處理。技術(shù)形成了批處理、流處理和交互分析三種計(jì)算模式：離線批處理（Batch Processing）技術(shù)以MapReduce和Hadoop系統(tǒng)為代表，實(shí)時(shí)流處理（Stream Processing）技術(shù)以Yahoo的S4系統(tǒng)和Twitter的Storm系統(tǒng)為代表，交互式分析（Interactive Analysis）技術(shù)以谷歌的Dremel系統(tǒng)為代表。

　　大數(shù)據(jù)的火爆，也帶動(dòng)了國(guó)內(nèi)學(xué)術(shù)界、產(chǎn)業(yè)界和政府對(duì)大數(shù)據(jù)的熱情，但筆者覺(jué)得更大意義在于喚醒了人們對(duì)數(shù)據(jù)的重視。今年以來(lái)，中國(guó)計(jì)算機(jī)學(xué)會(huì)、中國(guó)通信學(xué)會(huì)先后成立了大數(shù)據(jù)委員會(huì)，研究大數(shù)據(jù)中的科學(xué)與工程問(wèn)題，科技部的《中國(guó)云科技發(fā)展“十二五”專項(xiàng)規(guī)劃》和工信部的《物聯(lián)網(wǎng)“十二五”發(fā)展規(guī)劃》等都把大數(shù)據(jù)技術(shù)作為一項(xiàng)重點(diǎn)予以支持。這些舉措著眼長(zhǎng)遠(yuǎn)，短期難以看到效果。但這種熱潮的確觸發(fā)了一場(chǎng)思想啟蒙運(yùn)動(dòng)，使得“大數(shù)據(jù)是資產(chǎn)，不是包袱”、“要拿數(shù)據(jù)說(shuō)話”等觀念逐步深入人心，改變了以往不重視數(shù)據(jù)積累，不相信數(shù)據(jù)分析等認(rèn)識(shí)。有了這種思維模式的改變，大數(shù)據(jù)的應(yīng)用就有了希望。

　　空談?wù)`國(guó)，拒絕被大數(shù)據(jù)忽悠

　　炒作歸炒作，但真正可以落地，或者已經(jīng)落地的應(yīng)用有哪些？在哪里？聯(lián)合國(guó)“全球脈動(dòng)（Global Pulse）”今年5月發(fā)布的報(bào)告，給出了用Twitter預(yù)測(cè)大米價(jià)格、用谷歌趨勢(shì)（ Google trends）跟蹤登革熱疫情等生動(dòng)案例；美國(guó)中央情報(bào)局官員也披露大數(shù)據(jù)在幫助他們追捕恐怖分子方面立下功勞；有人聲稱成功利用Twitter預(yù)測(cè)了本屆美國(guó)大選。

　　這些聽(tīng)起來(lái)很炫的案例在各種場(chǎng)合被人們反復(fù)引用。各大咨詢公司和解決方案提供商也都會(huì)盡力挖掘大數(shù)據(jù)的應(yīng)用場(chǎng)景。但實(shí)際看到的大規(guī)模應(yīng)用案例除了互聯(lián)網(wǎng)搜索引擎、電商和社交網(wǎng)站，以及少數(shù)國(guó)家的政府網(wǎng)站外，其他領(lǐng)域還并不多見(jiàn)。國(guó)內(nèi)應(yīng)用案例就更是鳳毛麟角了。

　　空泛的炒作時(shí)間長(zhǎng)了難免令人厭倦。有人開(kāi)始質(zhì)疑，大數(shù)據(jù)是大價(jià)值還是大忽悠？也有人警告說(shuō)，“大數(shù)據(jù)是機(jī)會(huì)，但不是所有人的機(jī)會(huì)”，只有擁有大數(shù)據(jù)的大型企業(yè)和政府機(jī)構(gòu)才有應(yīng)用大數(shù)據(jù)的潛力與機(jī)會(huì)；“大數(shù)據(jù)的確會(huì)有價(jià)值，但沒(méi)有那么大”，就看你會(huì)不會(huì)挖掘，是否善于運(yùn)用數(shù)據(jù)分析的結(jié)果了。只有冷靜分析大數(shù)據(jù)對(duì)自身的價(jià)值與機(jī)遇，才能避免被忽悠。

　　實(shí)干興邦，破除大數(shù)據(jù)落地三大障礙

　　應(yīng)該說(shuō)，全球來(lái)看，對(duì)大數(shù)據(jù)認(rèn)識(shí)、研究和應(yīng)用還都處于初期階段。特別是對(duì)我國(guó)來(lái)說(shuō)，大數(shù)據(jù)真正落地，還需要邁過(guò)三道坎。

　　第一，數(shù)據(jù)是否足夠豐富和開(kāi)放？豐富的數(shù)據(jù)源是大數(shù)據(jù)產(chǎn)業(yè)發(fā)展的前提。而我國(guó)數(shù)字化的數(shù)據(jù)資源總量遠(yuǎn)遠(yuǎn)低于美歐，每年新增數(shù)據(jù)量?jī)H為美國(guó)的7%，歐洲的12%，其中政府和制造業(yè)的數(shù)據(jù)資源積累遠(yuǎn)遠(yuǎn)落后于國(guó)外。就已有有限的數(shù)據(jù)資源來(lái)說(shuō)，還存在標(biāo)準(zhǔn)化、準(zhǔn)確性、完整性低，利用價(jià)值不高的情況，這大大降低了數(shù)據(jù)的價(jià)值。

　　同時(shí)，我國(guó)政府、企業(yè)和行業(yè)信息化系統(tǒng)建設(shè)往往缺少統(tǒng)一規(guī)劃和科學(xué)論證，系統(tǒng)之間缺乏統(tǒng)一的標(biāo)準(zhǔn)，形成了眾多 “信息孤島”，而且受行政壟斷和商業(yè)利益所限，數(shù)據(jù)開(kāi)放程度較低，這給數(shù)據(jù)利用造成極大障礙。制約我國(guó)數(shù)據(jù)資源開(kāi)放和共享的一個(gè)重要因素是政策法規(guī)不完善，一方面欠缺推動(dòng)政府和公共數(shù)據(jù)的政策，另一方面數(shù)據(jù)保護(hù)和隱私保護(hù)方面的制度不完善抑制了開(kāi)放的積極性。因此，建立一個(gè)良性發(fā)展的數(shù)據(jù)共享生態(tài)系統(tǒng)，是我國(guó)大數(shù)據(jù)發(fā)展需要買(mǎi)過(guò)去的第一道砍。

　　第二，是否掌握強(qiáng)大的數(shù)據(jù)分析工具？要以低成本和可擴(kuò)展的方式處理大數(shù)據(jù)，這就需要對(duì)整個(gè)IT架構(gòu)進(jìn)行重構(gòu)，開(kāi)發(fā)先進(jìn)的軟件平臺(tái)和算法。這方面，國(guó)外又一次走在我們前面。特別是近年來(lái)以開(kāi)源模式發(fā)展起來(lái)的Hadoop等大數(shù)據(jù)處理軟件平臺(tái)，及其相關(guān)產(chǎn)業(yè)已經(jīng)在美國(guó)初步形成。而我國(guó)數(shù)據(jù)處理技術(shù)基礎(chǔ)薄弱，總體上以跟隨為主，難以滿足大數(shù)據(jù)大規(guī)模應(yīng)用的需求。

　　如果把大數(shù)據(jù)比作石油，那數(shù)據(jù)分析工具就是勘探、鉆井、提煉、加工的技術(shù)。我國(guó)必須掌握大數(shù)據(jù)關(guān)鍵技術(shù)，才能將資源轉(zhuǎn)化為價(jià)值。應(yīng)該說(shuō)，要邁過(guò)這道坎，開(kāi)源技術(shù)為我們提供了很好的基礎(chǔ)。

　　第三，管理理念和運(yùn)作方式能否適配數(shù)據(jù)化決策？大數(shù)據(jù)開(kāi)發(fā)的根本目的是以數(shù)據(jù)分析為基礎(chǔ)，幫助人們做出更明智的決策，優(yōu)化企業(yè)和社會(huì)運(yùn)轉(zhuǎn)。哈佛商業(yè)評(píng)論說(shuō)，大數(shù)據(jù)本質(zhì)上是“一場(chǎng)管理革命”。大數(shù)據(jù)時(shí)代的決策不能僅憑經(jīng)驗(yàn)，而真正要“拿數(shù)據(jù)說(shuō)話”。因此，大數(shù)據(jù)能夠真正發(fā)揮作用，深層次看，還要改善我們的管理模式，需要管理方式和架構(gòu)的與大數(shù)據(jù)技術(shù)工具相適配。這或許是我們最難邁過(guò)的一道坎了。

　　作者簡(jiǎn)介：

　　魏凱，高級(jí)工程師，就職于工業(yè)和信息化部電信研究院通信標(biāo)準(zhǔn)研究所，從事互聯(lián)網(wǎng)和多媒體通信技術(shù)、標(biāo)準(zhǔn)和政策研究，擔(dān)任中國(guó)通信標(biāo)準(zhǔn)化協(xié)會(huì)IPTV特別任務(wù)組組長(zhǎng)，國(guó)際電信聯(lián)盟第9研究組（Q4/SG9）聯(lián)合報(bào)告人。