突破數(shù)據(jù)臨界點(diǎn) 引領(lǐng)認(rèn)知新時(shí)代
IBM副總裁、大中華區(qū)硬件系統(tǒng)部總經(jīng)理高璐華表示,現(xiàn)在市場(chǎng)上大家談得最多的就是數(shù)據(jù)和認(rèn)知。IBM在過(guò)去這幾十年來(lái)是怎么看數(shù)據(jù)? 從60年代開(kāi)始,IBM從最早的打卡機(jī)或者是制表機(jī)開(kāi)始做,第一次應(yīng)用就是在美國(guó)的人口普查。然后到了80年代,IBM剛開(kāi)始推出了個(gè)人電腦處理數(shù)據(jù),到了1997年,IBM的“深藍(lán)”跟國(guó)際象棋的棋王卡斯帕羅夫比賽,并且戰(zhàn)勝棋王;從那時(shí)起,更多的人談的就是如何用數(shù)據(jù),更好的認(rèn)知。到了2011年,IBM Watson認(rèn)知系統(tǒng),在美國(guó)的節(jié)目《危險(xiǎn)邊緣》里與多個(gè)冠軍對(duì)手進(jìn)行比較,并戰(zhàn)勝了他們,所以當(dāng)時(shí)就開(kāi)啟了認(rèn)知的新時(shí)代。
如今,與幾十年前處理的數(shù)據(jù)完全不一樣。2014年,中國(guó)市場(chǎng)智能手機(jī)出貨量就已經(jīng)超過(guò)了4.2億部,并且這個(gè)數(shù)據(jù)在成倍增長(zhǎng);現(xiàn)在每天有2億封的Email被寄出。我們認(rèn)為2020年全球的數(shù)據(jù)總量會(huì)達(dá)到40ZB。到2019年,大數(shù)據(jù)的存儲(chǔ)容量需求在2019年將達(dá)到20EB,其存儲(chǔ)設(shè)備的價(jià)值會(huì)達(dá)到27億美金,所以大家可以看到,數(shù)據(jù)不再只是數(shù)據(jù),它是有價(jià)值的一些資訊,可以給行業(yè)、企業(yè)的高管們做很多的分析和洞察,所以一點(diǎn)都不夸張,數(shù)據(jù)的臨界點(diǎn)真的來(lái)了。
據(jù)了解,關(guān)于認(rèn)知,IBM去年就已經(jīng)發(fā)布了關(guān)于認(rèn)知計(jì)算或者認(rèn)知商業(yè)的概念和想法并認(rèn)為未來(lái)認(rèn)知會(huì)引領(lǐng)整個(gè)時(shí)代和潮流。認(rèn)知商業(yè)可以從三個(gè)部分來(lái)看,第一個(gè)部分是認(rèn)知,就是如何在業(yè)務(wù)層應(yīng)用認(rèn)知的技能;第二個(gè)部分是學(xué)習(xí),Watson經(jīng)過(guò)不斷進(jìn)行學(xué)習(xí)之后,它能夠針對(duì)一些結(jié)果產(chǎn)生一些疑問(wèn),并有有一些回饋,對(duì)答案進(jìn)行一些篩選;第三個(gè)部分是分析,相關(guān)數(shù)據(jù)和Watson的數(shù)據(jù)結(jié)合起來(lái)以后,我們可以做更多更好的分析,得到一些很有價(jià)值的結(jié)果。
同時(shí)她提到,要具備這樣的能力其實(shí)很困難,機(jī)器能夠理解人類(lèi)的語(yǔ)言,理解以后還能夠?qū)W習(xí),學(xué)習(xí)以后還要加強(qiáng)、優(yōu)化,那它就必須要有一個(gè)很好的基礎(chǔ)建設(shè)。而這個(gè)基礎(chǔ)建設(shè)最好的架構(gòu)就是混合云的架構(gòu)?;旌显瓶梢詮脑械南到y(tǒng)里面整合交互的系統(tǒng),可以做更好的橫向整合,同時(shí)我們也可以整合整個(gè)系統(tǒng),提供更好的實(shí)時(shí)、準(zhǔn)確的資訊。
面對(duì)浩如煙海的海量數(shù)據(jù),用戶(hù)對(duì)數(shù)據(jù)的要求也越來(lái)越多,如此繁雜冗多的數(shù)據(jù),哪些有用?如何快速獲取?獲取之后如何保存?甚至做分析、決策,這些才是我們要解決的難題以及行業(yè)發(fā)展亟須面對(duì)的痛點(diǎn)。
數(shù)據(jù)的爆發(fā)性增長(zhǎng),使得傳統(tǒng)的數(shù)據(jù)存儲(chǔ)和管理方式已經(jīng)不能滿(mǎn)足企業(yè)發(fā)展和創(chuàng)新的需要。今天,面臨更復(fù)雜的數(shù)據(jù)環(huán)境,難上加難的數(shù)據(jù)需求,真正的數(shù)據(jù)臨界點(diǎn)到來(lái)。數(shù)據(jù)臨界點(diǎn)不僅僅指海量的數(shù)據(jù),同時(shí)也是對(duì)數(shù)據(jù)的需求。對(duì)此,IBM高璐華表示IBM將會(huì)不斷引領(lǐng)新的潮流,以滿(mǎn)足用戶(hù)對(duì)數(shù)據(jù)的快速、安全可靠的訪(fǎng)問(wèn)、分析和處理,幫助企業(yè)實(shí)現(xiàn)數(shù)字化轉(zhuǎn)型和迎接認(rèn)知時(shí)代。
把握市場(chǎng)“風(fēng)口” 大數(shù)據(jù)存儲(chǔ)正當(dāng)時(shí)
大數(shù)據(jù)存儲(chǔ)目前有什么樣的挑戰(zhàn)呢?下一步有什么樣的發(fā)展呢?IBM全球存儲(chǔ)系統(tǒng)研究院院長(zhǎng)Larry Chiu表示,在過(guò)去的5年到10年當(dāng)中,大量的結(jié)構(gòu)化數(shù)據(jù)被創(chuàng)造出來(lái),到2020年,人類(lèi)產(chǎn)生的數(shù)據(jù)總量將達(dá)到40ZB,這可以說(shuō)是一個(gè)臨界點(diǎn)。這些新的數(shù)據(jù)來(lái)自智能手機(jī)、傳感器收集的數(shù)據(jù),以及物聯(lián)網(wǎng)等,這些應(yīng)用會(huì)驅(qū)動(dòng)數(shù)據(jù)爆炸性的增長(zhǎng)。
認(rèn)知計(jì)算的應(yīng)用有很多不同的類(lèi)型,如快數(shù)據(jù),比如股票交易,這些數(shù)據(jù)是全速產(chǎn)生,包括探測(cè)欺詐行為,交易問(wèn)題。從快數(shù)據(jù)的角度來(lái)說(shuō),我們需要弄清楚很多信息;從存儲(chǔ)的角度來(lái)說(shuō),需要每秒執(zhí)行超過(guò)1000多萬(wàn)次的小型的持續(xù)操作。當(dāng)系統(tǒng)探測(cè)到存在欺詐問(wèn)題,數(shù)據(jù)庫(kù)里可以生成一些新的數(shù)據(jù),我們把所有的數(shù)據(jù)存儲(chǔ)起來(lái),但這樣做成本很高。從存儲(chǔ)角度怎么解決這些問(wèn)題呢?我們使用本地的一些文檔系統(tǒng),把這些功能移到用戶(hù)端,消除了文檔系統(tǒng)的堆棧,可以達(dá)到差不多10倍的性能提升,這是未來(lái)的發(fā)展方向。
從數(shù)據(jù)角度來(lái)說(shuō),對(duì)于這些數(shù)據(jù)不同版本的對(duì)比,會(huì)了解用戶(hù)在2014、2015和2016年發(fā)生了哪些變化,把這些數(shù)據(jù)加以匯集,放到對(duì)象存儲(chǔ)里面,隨著時(shí)間推移,你可以查詢(xún)這些數(shù)據(jù),按照時(shí)間點(diǎn),從2014年到2016年進(jìn)行對(duì)比,我們可以了解發(fā)生了變化,提高它的使用率。
至于挖掘到各種數(shù)據(jù)之后,進(jìn)行相應(yīng)查詢(xún),如果這個(gè)數(shù)據(jù)并沒(méi)有一個(gè)非常好的組織結(jié)構(gòu),怎么辦?當(dāng)今很多客戶(hù)都會(huì)遇到類(lèi)似問(wèn)題,他們的數(shù)據(jù)中心沒(méi)有很好的組織結(jié)構(gòu)。典型的問(wèn)題是什么呢?我無(wú)法有很多的存儲(chǔ)空間來(lái)存儲(chǔ)所有的數(shù)據(jù),這是一個(gè)問(wèn)題。另外一個(gè)問(wèn)題,他要存儲(chǔ)數(shù)據(jù),但是他不知道應(yīng)該把哪個(gè)對(duì)象、哪個(gè)文檔提取出來(lái)。
另外值得一提的是區(qū)塊鏈的技術(shù),這是一種新的方式,這種方式是進(jìn)行系統(tǒng)的記錄。區(qū)塊鏈?zhǔn)且环N新的記錄的系統(tǒng),就像一個(gè)分類(lèi)記帳本。當(dāng)數(shù)據(jù)進(jìn)入到這個(gè)系統(tǒng)之后,這個(gè)數(shù)據(jù)應(yīng)該是不變的,而且是可以審計(jì)的,這是第一點(diǎn)。第二點(diǎn)就是保留長(zhǎng)期的存儲(chǔ)可擴(kuò)展性,也就是說(shuō)數(shù)據(jù)要不斷地?cái)U(kuò)展,需要放在區(qū)塊鏈的網(wǎng)絡(luò)上,把它作為一種數(shù)字化的資產(chǎn)。另外這個(gè)數(shù)據(jù)能夠保留10年甚至10年以上的時(shí)間,來(lái)驗(yàn)證數(shù)據(jù)的高可用性,還有一點(diǎn)就是需要考慮到存儲(chǔ)性能,它能夠解決事務(wù)和數(shù)據(jù)倉(cāng)庫(kù)的功能。如果從基礎(chǔ)設(shè)施的角度來(lái)看,這些數(shù)據(jù)要更加的可靠,而且能夠更好地持續(xù)下去,不能出現(xiàn)丟失的問(wèn)題,要提升存儲(chǔ)的性能。
據(jù)Larry Chiu介紹,IBM在歐洲就在著手一個(gè)叫做SKA(Square Kilometer Array)的項(xiàng)目— “極端大數(shù)據(jù)”,如宇宙當(dāng)中存在很多跡象,我們就要分析這個(gè)跡象,看看這個(gè)跡象背后代表的價(jià)值,我們做這個(gè)事情就是要進(jìn)行分析,比如說(shuō)每天生成多少數(shù)據(jù),對(duì)數(shù)據(jù)進(jìn)行處理,比如說(shuō)一秒能夠生成10PB的數(shù)據(jù),每一天產(chǎn)生14EB的數(shù)據(jù),我們需要對(duì)這些數(shù)據(jù)進(jìn)行處理和分析。14EB大概相當(dāng)于1500萬(wàn)個(gè)64GB的ipod的存儲(chǔ)量,我們?cè)趺窗堰@樣大量的數(shù)據(jù)進(jìn)行分析呢?我們面對(duì)這樣大量的數(shù)據(jù),我們?cè)撛趺礃舆M(jìn)行分析?我們需要看一看這些數(shù)據(jù),而且我們需要朝著這樣的一個(gè)方向去努力,我們需要對(duì)這些數(shù)據(jù)的價(jià)值進(jìn)行定義,我們需要假設(shè)數(shù)據(jù)如何幫助我們,來(lái)對(duì)我們搜集的這些數(shù)據(jù)的相關(guān)信息進(jìn)行組織。我想這是一個(gè)征程,我們需要做好這項(xiàng)工作。我們要有認(rèn)知,我們要學(xué)習(xí),我們要進(jìn)行改善,從而能夠從我們已知的內(nèi)容當(dāng)中去推算未知的知識(shí),這樣一個(gè)過(guò)程需要10年以上的時(shí)間,當(dāng)然有些新的應(yīng)用也將會(huì)研發(fā)出來(lái)。
“數(shù)據(jù)的爆炸式增長(zhǎng)使得駕馭這些數(shù)據(jù)獲取商業(yè)洞察成為一種新的競(jìng)爭(zhēng)優(yōu)勢(shì)。從存儲(chǔ)和分析大量小規(guī)??焖佼a(chǎn)生的數(shù)據(jù)開(kāi)始,到存儲(chǔ)和分析來(lái)自數(shù)十億互聯(lián)網(wǎng)設(shè)備的數(shù)據(jù),再到加速采用對(duì)象存儲(chǔ),直到存儲(chǔ)和分析廣袤的數(shù)據(jù)宇宙, IBM正持續(xù)推進(jìn)創(chuàng)新,研發(fā)具有突破性的存儲(chǔ)技術(shù),助力各行業(yè)突破數(shù)據(jù)臨界點(diǎn)。”IBM全球存儲(chǔ)系統(tǒng)研究院院長(zhǎng)Larry Chiu對(duì)此很有信心。
認(rèn)知商業(yè)進(jìn)駐中國(guó),加速市場(chǎng)生態(tài)發(fā)展
IBM大中華區(qū)硬件系統(tǒng)部存儲(chǔ)系統(tǒng)部總經(jīng)理黃永志表示,從臨界點(diǎn)到認(rèn)知這個(gè)觀(guān)點(diǎn),從三個(gè)維度來(lái)看叫做3D,第一個(gè)D是數(shù)據(jù)。數(shù)據(jù)的爆發(fā)規(guī)模非常大,80%的非結(jié)構(gòu)化數(shù)據(jù)在迅速的膨脹,這是以人類(lèi)歷史上都沒(méi)預(yù)見(jiàn)過(guò)的速度在增長(zhǎng)。從數(shù)據(jù)的結(jié)構(gòu)、性質(zhì)和越來(lái)越多不同的傳感器的出現(xiàn),還有很多意想不到的新的介質(zhì)加入的時(shí)候,這個(gè)數(shù)據(jù)流量的爆發(fā)是不可思議的,所以從數(shù)據(jù)本質(zhì)來(lái)看,將會(huì)出現(xiàn)非常大的變化,而且變化越來(lái)越快。第二個(gè)D是需求。每個(gè)人的需求都會(huì)出現(xiàn)變化,三年前的數(shù)據(jù)要求和今天的數(shù)據(jù)要求就決然不同,這絕對(duì)是從量到質(zhì)的驚人變化;對(duì)行業(yè)來(lái)說(shuō)壓力也是如此,今天的銀行業(yè)跟5年前相比也是另外一個(gè)世界。所以在需求上的劇烈的改變,也是我們要去面對(duì)的。第三個(gè)D是定義。在存儲(chǔ)市場(chǎng),存儲(chǔ)在技術(shù)定義上也有很大改變,在數(shù)據(jù)大量膨脹的時(shí)候,我們基本上是要革自己的命,才能應(yīng)付這個(gè)要求,所以存儲(chǔ)的定義也是在不斷地改變,所有的屬性都會(huì)引領(lǐng)我們?cè)趺纯缭竭@個(gè)臨界點(diǎn),怎么去到認(rèn)知的年代。幾年前IBM都是集中在講產(chǎn)品,到現(xiàn)如今我們都是講怎么用、怎么轉(zhuǎn)型、怎么管理數(shù)據(jù)為出發(fā)點(diǎn),所以這個(gè)定義是非常不一樣的。在這個(gè)定義里面,如果我們更加落地的說(shuō),我們覺(jué)得有兩個(gè)技術(shù)是非常重要的,從IBM的觀(guān)點(diǎn)來(lái)說(shuō),未來(lái)的12到18個(gè)月,這兩個(gè)技術(shù)將會(huì)改變業(yè)界,改變很多商業(yè)模型。一個(gè)是閃存,一個(gè)是軟件定義,這兩個(gè)技術(shù)將會(huì)改變一切。
未來(lái)非結(jié)構(gòu)化數(shù)據(jù),將會(huì)是以PB的量級(jí)增長(zhǎng)的,在中國(guó)肯定會(huì)有客戶(hù)的數(shù)據(jù)超過(guò)EB級(jí)的,當(dāng)你超過(guò)EB級(jí)的時(shí)候,你的管理跟今天是兩回事,如果沒(méi)有一套很好的安全性很強(qiáng)系統(tǒng),這將會(huì)帶來(lái)很大的災(zāi)難。
“互聯(lián)網(wǎng)+”時(shí)代的到來(lái)以及物聯(lián)網(wǎng)的不斷發(fā)展,產(chǎn)生了大規(guī)模的非結(jié)構(gòu)化數(shù)據(jù),站在今天這個(gè)臨界點(diǎn),我們要找準(zhǔn)方向持續(xù)的投入、持續(xù)的創(chuàng)新、持續(xù)的共建,把數(shù)據(jù)創(chuàng)造更高的價(jià)值,為這個(gè)認(rèn)知的時(shí)代帶來(lái)更加美好的基礎(chǔ)。