“大數(shù)據(jù)”的四個(gè)特征
“大數(shù)據(jù)”的四個(gè)特征:海量(數(shù)據(jù)量達(dá)到PB/EB級(jí)別),多類型(結(jié)構(gòu)化的、半結(jié)構(gòu)化的、非結(jié)構(gòu)化的摻雜在一起),高時(shí)效(數(shù)據(jù)變化速度快,時(shí)效性強(qiáng)),低密度(有價(jià)值的信息埋藏在大量數(shù)據(jù)中,有待挖掘)
大數(shù)據(jù)到來(lái)是必然 目前方興未艾
大數(shù)據(jù)的時(shí)代的到來(lái)是必然。發(fā)展大數(shù)據(jù)技術(shù)是為了更好地利用數(shù)據(jù),挖掘出其中的信息,為數(shù)據(jù)的擁有者和使用者創(chuàng)造出更大的價(jià)值。
目前大數(shù)據(jù)市場(chǎng)仍處于起步階段,相關(guān)技術(shù)已經(jīng)在部分領(lǐng)域(如搜索、互聯(lián)網(wǎng)廣告、O2O等)得到應(yīng)用,該技術(shù)發(fā)展已經(jīng)進(jìn)入爆發(fā)期,業(yè)界主流IT公司都推出了自己基于大數(shù)據(jù)技術(shù)的產(chǎn)品和解決方案,面向不同領(lǐng)域的大數(shù)據(jù)技術(shù)也層出不窮。
大數(shù)據(jù)得以實(shí)現(xiàn)的核心技術(shù)
大數(shù)據(jù)的核心技術(shù)包括:1)海量數(shù)據(jù)的存儲(chǔ)和檢索。通常使用分布式文件系統(tǒng)、基于列的Non-SQL數(shù)據(jù)庫(kù)等方式來(lái)存儲(chǔ)和檢索海量數(shù)據(jù)。2)分布式計(jì)算平臺(tái)/框架,目前最流行的就是基于MapReduce或其變種的各類分布式計(jì)算平臺(tái)/框架,通過(guò)將任務(wù)分布到大量服務(wù)器上并發(fā)處理提高系統(tǒng)的實(shí)時(shí)響應(yīng)速度。3)多維度數(shù)據(jù)采集。結(jié)合物聯(lián)網(wǎng)技術(shù)和傳感器技術(shù),使得數(shù)據(jù)的來(lái)源多種多樣,為后續(xù)的數(shù)據(jù)分析挖掘奠定基礎(chǔ)。4)智能分析與識(shí)別。對(duì)于大量非結(jié)構(gòu)化的數(shù)據(jù)(如音視頻數(shù)據(jù)),需要接近甚至超越人類能力的智能分析與識(shí)別技術(shù),將采集到的非結(jié)構(gòu)化數(shù)據(jù)轉(zhuǎn)換為計(jì)算機(jī)能處理的半結(jié)構(gòu)化和結(jié)構(gòu)化數(shù)據(jù)。
大數(shù)據(jù)技術(shù)引入安防的困難點(diǎn)及解決方法
大數(shù)據(jù)技術(shù)應(yīng)用在安防行業(yè)的主要困難點(diǎn)有:1)如何準(zhǔn)確地從非結(jié)構(gòu)化數(shù)據(jù)(如音視頻)中提取計(jì)算機(jī)易于處理的結(jié)構(gòu)化、半結(jié)構(gòu)化的信息。其解決方法有賴于數(shù)字音頻/圖像處理技術(shù)、模式識(shí)別技術(shù)、傳感器技術(shù)的持續(xù)進(jìn)步。2)如何將大數(shù)據(jù)與安防業(yè)務(wù)需求結(jié)合,創(chuàng)造出更多的數(shù)據(jù)利用模式,從而為數(shù)據(jù)的擁有者和使用者創(chuàng)造出更多的價(jià)值。其解決方法需要依靠對(duì)大數(shù)據(jù)技術(shù)和安防業(yè)務(wù)都有非常深入理解的業(yè)務(wù)專家,設(shè)計(jì)出貼合用戶需求的業(yè)務(wù)模型。
安防大數(shù)據(jù)技術(shù)進(jìn)行高效、快速的篩選信息的方法
目前安防行業(yè)主要利用大數(shù)據(jù)技術(shù)進(jìn)行海量圖片、視頻信息的特征提取、存儲(chǔ)、檢索和分析比對(duì)。利用大數(shù)據(jù)技術(shù)首先可以實(shí)現(xiàn)海量特征信息的可靠存儲(chǔ)(分布式文件系統(tǒng)的冗余備份機(jī)制),其次可以實(shí)現(xiàn)特征信息的快速比對(duì)篩選(基于MapReduce框架并發(fā)分析)
安防大數(shù)據(jù)已落地科達(dá)大數(shù)據(jù)研發(fā)實(shí)力雄厚
目前在安防領(lǐng)域可以落地的大數(shù)據(jù)應(yīng)用主要是卡口大數(shù)據(jù)應(yīng)用,已經(jīng)有實(shí)際應(yīng)用范例。
公司已經(jīng)在大數(shù)據(jù)基礎(chǔ)技術(shù)與應(yīng)用技術(shù)方面投入了大量的人力物力,并且推出了適合大數(shù)據(jù)應(yīng)用的相關(guān)硬件產(chǎn)品(如感知型攝像機(jī)、云存儲(chǔ)設(shè)備、服務(wù)器等)和解決方案(科達(dá)已經(jīng)推出了卡口過(guò)車大數(shù)據(jù),視頻圖像大數(shù)據(jù),公安情報(bào)大數(shù)據(jù)三方面的解決方案)。
大數(shù)據(jù)時(shí)代首要問題是安全
首先,傳統(tǒng)的數(shù)據(jù)安全技術(shù)在大數(shù)據(jù)時(shí)代仍然適用,對(duì)數(shù)據(jù)的保護(hù)是第一步;其次,最有價(jià)值的不是數(shù)據(jù)本身而是應(yīng)用數(shù)據(jù)的方法/模型,重點(diǎn)要保護(hù)的是這些方法和模型。
大數(shù)據(jù)對(duì)安防產(chǎn)業(yè)格局的影響
大數(shù)據(jù)技術(shù)源自互聯(lián)網(wǎng),大數(shù)據(jù)時(shí)代會(huì)促使安防這類傳統(tǒng)業(yè)務(wù)加速向互聯(lián)網(wǎng)方向遷移,安防企業(yè)會(huì)更加地傾向于提供服務(wù)而不是提供產(chǎn)品;大數(shù)據(jù)時(shí)代也會(huì)促使更多的互聯(lián)網(wǎng)企業(yè)向傳統(tǒng)行業(yè)如安防進(jìn)行滲透,這種滲透已經(jīng)開始了并將進(jìn)一步加速。
大數(shù)據(jù)與云計(jì)算
云計(jì)算技術(shù)與大數(shù)據(jù)技術(shù)是非常合適結(jié)合在一起的。云計(jì)算中心的建設(shè)可以為海量數(shù)據(jù)的存儲(chǔ)、分析與搜索提供計(jì)算能力與存儲(chǔ)能力的保障,云計(jì)算技術(shù)對(duì)資源的動(dòng)態(tài)分配與調(diào)度也特別適合如潮汐般漲落的大數(shù)據(jù)分布式計(jì)算需求。而大數(shù)據(jù)計(jì)算對(duì)于存儲(chǔ)容量、I/O訪問速度的要求也會(huì)進(jìn)一步促進(jìn)云計(jì)算技術(shù)在這些方面的發(fā)展。
大數(shù)據(jù)方面?zhèn)鹘y(tǒng)安防企業(yè)與互聯(lián)網(wǎng)企業(yè)合作為主
傳統(tǒng)安防企業(yè)與互聯(lián)網(wǎng)企業(yè)在大數(shù)據(jù)方面可以開展非常緊密的合作,例如互聯(lián)網(wǎng)企業(yè)比較熟悉和擅長(zhǎng)海量數(shù)據(jù)的處理技術(shù),能夠提供各種平臺(tái)和工具;而傳統(tǒng)安防企業(yè)更貼近用戶需求,更熟悉行業(yè)客戶的業(yè)務(wù)需求,能夠基于所提供的大數(shù)據(jù)平臺(tái)和工具,開發(fā)出滿足甚至高于用戶需求的業(yè)務(wù)系統(tǒng)。當(dāng)然雙方也會(huì)存在沖突,比如對(duì)于開放或封閉的理念方面,互聯(lián)網(wǎng)企業(yè)更強(qiáng)調(diào)平臺(tái)與數(shù)據(jù)的開放性和泛在性,為所有人提供服務(wù);而傳統(tǒng)安防企業(yè)則偏向用戶側(cè),特別是行業(yè)客戶,傾向于私有和封閉,為特定人群服務(wù)。