盤(pán)點(diǎn)近幾年的IT領(lǐng)域熱門(mén)詞匯:大數(shù)據(jù)、云計(jì)算、虛擬化、云存儲(chǔ)、云服務(wù)等,幾乎貫穿到所有信息技術(shù)領(lǐng)域的產(chǎn)品推廣、解決方案和系統(tǒng)規(guī)劃中。這意味著未來(lái)信息領(lǐng)域發(fā)展和建設(shè)的大時(shí)代——云時(shí)代的來(lái)臨。
作為云時(shí)代海量數(shù)據(jù)的來(lái)源之一,安防視頻監(jiān)控行業(yè)隨著智慧城市和智能交通的快速發(fā)展、移動(dòng)互聯(lián)設(shè)備的快速激增,產(chǎn)生了海量的非結(jié)構(gòu)化視音頻數(shù)據(jù),帶動(dòng)了大數(shù)據(jù)的存儲(chǔ)、管理、分析等應(yīng)用。面向云時(shí)代,業(yè)界同仁一擁而上、熱血沸騰,無(wú)論是IT供應(yīng)商、存儲(chǔ)廠(chǎng)商、還是解決方案提供商都不甘落后,雨后春筍般的紛紛提出基于計(jì)算、存儲(chǔ)、網(wǎng)絡(luò)等多層次虛擬化的數(shù)據(jù)中心解決方案,投入大量資源,推出云存儲(chǔ)、云計(jì)算等系統(tǒng)產(chǎn)品。
面對(duì)安防行業(yè)近來(lái)的“云”山“物”罩,云存儲(chǔ)技術(shù)優(yōu)勢(shì)有哪些、如何在智慧城市中逐步落地不斷實(shí)踐以及未來(lái)還面臨哪些問(wèn)題,我將發(fā)表個(gè)人觀點(diǎn),意在拋磚引玉、引發(fā)業(yè)界同仁在產(chǎn)業(yè)發(fā)展的進(jìn)一步思考和討論。
與傳統(tǒng)集中式存儲(chǔ)相比,分布式存儲(chǔ)系統(tǒng)將數(shù)百上千的存儲(chǔ)節(jié)點(diǎn)組織為統(tǒng)一的存儲(chǔ)系統(tǒng),其橫向擴(kuò)展特性克服了物理機(jī)架和模塊在性能、容量、容災(zāi)能力等方面的限制,可通過(guò)增加控制器或是容量節(jié)點(diǎn)來(lái)實(shí)現(xiàn)性能和容量的獨(dú)立升級(jí),提高IT投入的回報(bào)率。同時(shí),在線(xiàn)線(xiàn)性擴(kuò)展能力為業(yè)務(wù)的長(zhǎng)期高性?xún)r(jià)比提供保障。解決了傳統(tǒng)單一系統(tǒng),模塊化系統(tǒng)需要物理磁盤(pán)級(jí)別的管理、數(shù)據(jù)布局和性能調(diào)優(yōu)的弊端。
分布式儲(chǔ)存解決方案正在用戶(hù)層面快速普及。分布式存儲(chǔ)平臺(tái)不僅能夠提升性能而且還可以降低操作成本,使單一系統(tǒng)在單一全局域名下,簡(jiǎn)單地?cái)U(kuò)展到若干PB容量范圍,成為管理快速增長(zhǎng)數(shù)據(jù)的理想存儲(chǔ)平臺(tái)。
業(yè)內(nèi)主流的云存儲(chǔ)架構(gòu)可分為存儲(chǔ)硬件和存儲(chǔ)系統(tǒng)軟件兩部分,存儲(chǔ)硬件包含物理節(jié)點(diǎn)以及網(wǎng)絡(luò)交換設(shè)備;存儲(chǔ)系統(tǒng)軟件包括統(tǒng)一存儲(chǔ)池、多協(xié)議訪(fǎng)問(wèn)兩部分。統(tǒng)一存儲(chǔ)池負(fù)責(zé)硬件存儲(chǔ)資源的整合、數(shù)據(jù)在各硬件節(jié)點(diǎn)的冗余分布和負(fù)載均衡。多協(xié)議訪(fǎng)問(wèn),為上層應(yīng)用提供文件、塊、對(duì)象訪(fǎng)問(wèn)接口。
與傳統(tǒng)存儲(chǔ)設(shè)備不同,云存儲(chǔ)不僅是一個(gè)硬件,而是一個(gè)由網(wǎng)絡(luò)設(shè)備、存儲(chǔ)設(shè)備、服務(wù)器、軟件、接入網(wǎng)絡(luò)、用戶(hù)訪(fǎng)問(wèn)接口以及客戶(hù)端程序等多個(gè)部分構(gòu)成的復(fù)雜系統(tǒng)。該系統(tǒng)以存儲(chǔ)設(shè)備為核心,通過(guò)應(yīng)用層軟件對(duì)外提供數(shù)據(jù)存儲(chǔ)和業(yè)務(wù)服務(wù)。存儲(chǔ)硬件層是云存儲(chǔ)系統(tǒng)的基礎(chǔ),由存儲(chǔ)設(shè)備(滿(mǎn)足FC協(xié)議、iSCSI協(xié)議、NAS協(xié)議等)構(gòu)成。存儲(chǔ)軟件層是云存儲(chǔ)系統(tǒng)的核心,其擔(dān)負(fù)著存儲(chǔ)設(shè)備間協(xié)同工作,數(shù)據(jù)加密,分發(fā)以及容災(zāi)備份等工作。存儲(chǔ)應(yīng)用層是系統(tǒng)中根據(jù)用戶(hù)需求來(lái)開(kāi)發(fā)的部分,根據(jù)不同的業(yè)務(wù)類(lèi)型,可以開(kāi)發(fā)出不同的應(yīng)用服務(wù)接口。訪(fǎng)問(wèn)層指授權(quán)用戶(hù)通過(guò)應(yīng)用接口來(lái)登錄、享受云服務(wù)。
云存儲(chǔ)主要優(yōu)勢(shì)在于:
`硬件冗余,數(shù)據(jù)更安全
`節(jié)能環(huán)保,效益更顯著
`系統(tǒng)升級(jí)不會(huì)影響存儲(chǔ)服務(wù)
`海量橫向擴(kuò)展能力
`強(qiáng)大的負(fù)載均衡功能
`統(tǒng)一管理、統(tǒng)一向外提供服務(wù),管理效率高
云存儲(chǔ)系統(tǒng)從系統(tǒng)架構(gòu)、文件結(jié)構(gòu)、高速緩存等方面入手,針對(duì)監(jiān)控應(yīng)用進(jìn)行了優(yōu)化設(shè)計(jì)。數(shù)據(jù)傳輸可采用流方式,底層采用突破傳統(tǒng)文件系統(tǒng)限制的流媒體數(shù)據(jù)結(jié)構(gòu),大幅提高了系統(tǒng)性能。
高清監(jiān)控存儲(chǔ)是一種大碼流多并發(fā)寫(xiě)為主的存儲(chǔ)應(yīng)用,對(duì)性能、并發(fā)性和穩(wěn)定性等方面有很高的要求。該存儲(chǔ)解決方案采用獨(dú)特的大緩存順序化算法,把多路隨機(jī)并發(fā)訪(fǎng)問(wèn)變?yōu)轫樞蛟L(fǎng)問(wèn),解決了硬盤(pán)磁頭因頻繁尋道而導(dǎo)致的性能迅速下降和硬盤(pán)壽命縮短的問(wèn)題。
針對(duì)系統(tǒng)中會(huì)產(chǎn)生PB級(jí)海量監(jiān)控?cái)?shù)據(jù),存儲(chǔ)設(shè)備的數(shù)量達(dá)數(shù)十臺(tái)上百臺(tái),因此管理方式的科學(xué)高效顯得十分重要。云存儲(chǔ)可提供基于集群管理技術(shù)的多設(shè)備集中管理工具,具有設(shè)備集中監(jiān)控、集群管理、系統(tǒng)軟硬件運(yùn)行狀態(tài)的監(jiān)控、主動(dòng)報(bào)警,圖像化系統(tǒng)檢測(cè)等功能。
在海量視頻存儲(chǔ)檢索應(yīng)用中,檢索性能尤為重要。傳統(tǒng)文件系統(tǒng)中,文件檢索采用的是“目錄->子目錄->文件->定位”的檢索步驟,在海量數(shù)據(jù)的高清視頻監(jiān)控,目錄和文件數(shù)量十分可觀,這種檢索模式的效率就會(huì)大打折扣。采用序號(hào)文件定位可以有效解決該問(wèn)題。
云存儲(chǔ)可以提供非常高的系統(tǒng)冗余和安全性。當(dāng)在線(xiàn)存儲(chǔ)系統(tǒng)出現(xiàn)故障后,熱備機(jī)可以立即接替服務(wù),當(dāng)故障恢復(fù)時(shí),服務(wù)和數(shù)據(jù)回遷;若故障機(jī)數(shù)據(jù)需要調(diào)用,可以將故障機(jī)的磁盤(pán)插入到冷備機(jī)中,實(shí)現(xiàn)所有數(shù)據(jù)的立即可用。
對(duì)于高清監(jiān)控系統(tǒng),隨著監(jiān)控前端的增加和存儲(chǔ)時(shí)間的延長(zhǎng),擴(kuò)展能力十分重要。市場(chǎng)中已有友商可提供單純針對(duì)容量的擴(kuò)展柜擴(kuò)展模式和性能容量同步線(xiàn)性擴(kuò)展的堆疊擴(kuò)展模式。
云存儲(chǔ)在智慧城市的實(shí)踐應(yīng)用
目前智慧城市中的平安城市和智能交通領(lǐng)域,建設(shè)的前端點(diǎn)位越來(lái)越多,分辨率也從1080P逐步向400W、4K演變,存儲(chǔ)空間需求激增。此外由于歷史原因,智慧城市存儲(chǔ)系統(tǒng)往往面臨著,分布式存儲(chǔ)和集中存儲(chǔ)混搭、標(biāo)清高清混搭以及不同品牌不同架構(gòu)設(shè)備混搭的局面。
如何在有限的政府預(yù)算和投資下,盡可能的提升數(shù)據(jù)安全、廣泛兼容利舊設(shè)備建造以及響應(yīng)未來(lái)大數(shù)據(jù)共享、挖掘等應(yīng)用需求,是各家存儲(chǔ)廠(chǎng)商不得不面對(duì)的問(wèn)題。結(jié)合天地云存儲(chǔ)在智慧城市領(lǐng)域的應(yīng)用和實(shí)踐,我們覺(jué)得云存儲(chǔ)可為甲方帶來(lái)豐富的用戶(hù)價(jià)值。
平安城市領(lǐng)域
云存儲(chǔ)產(chǎn)品方案的實(shí)施有助于設(shè)備利舊改造,云存儲(chǔ)產(chǎn)品可以充分利用用戶(hù)已有投資,將一期IPSAN/平臺(tái)型NVR等存儲(chǔ)系統(tǒng)內(nèi)的存儲(chǔ)設(shè)備改造成云存儲(chǔ)設(shè)備,實(shí)現(xiàn)存儲(chǔ)系統(tǒng)的在線(xiàn)升級(jí)。其次采用了全域虛擬化技術(shù)的云存儲(chǔ)架構(gòu),可以將所有存儲(chǔ)設(shè)備中的存儲(chǔ)資源進(jìn)行虛擬化整合,對(duì)外呈現(xiàn)為一個(gè)超大的存儲(chǔ)資源池。整合后的存儲(chǔ)資源池,可以采用虛擬和邏輯的方式,進(jìn)行彈性的擴(kuò)大或縮小,以達(dá)到系統(tǒng)存儲(chǔ)資源的最大化合理利用,給予用戶(hù)更直觀、更便捷的操作體驗(yàn)。針對(duì)幾千臺(tái)高清前端的存儲(chǔ)需求,單套云存儲(chǔ)系統(tǒng)可以完美兼容,充分顯示了單套云存儲(chǔ)系統(tǒng)的穩(wěn)定性和高效性,體現(xiàn)了云存儲(chǔ)系統(tǒng)性能與容量線(xiàn)性增長(zhǎng)的特質(zhì)。
云存儲(chǔ)系統(tǒng)支持在線(xiàn)式的存儲(chǔ)改造與擴(kuò)容,通過(guò)軟硬件升級(jí),將往期IPSAN設(shè)備進(jìn)行云存儲(chǔ)系統(tǒng)改造,加入云存儲(chǔ)系統(tǒng)存儲(chǔ)集群內(nèi)。擴(kuò)展時(shí)云存儲(chǔ)管理服務(wù)器對(duì)設(shè)備壓力進(jìn)行動(dòng)態(tài)調(diào)整,保障已有的錄像業(yè)務(wù)不受影響,從而實(shí)現(xiàn)存儲(chǔ)設(shè)備的在線(xiàn)擴(kuò)容。同時(shí)云存儲(chǔ)系統(tǒng),采用全集群化設(shè)計(jì),本質(zhì)上具有的很高的穩(wěn)定性及可靠性。一般情況下不會(huì)發(fā)生設(shè)備故障,即是是在特殊情況下,出現(xiàn)單臺(tái)甚至多臺(tái)設(shè)備的故障,云存儲(chǔ)系統(tǒng)也會(huì)進(jìn)行統(tǒng)一調(diào)度,由集群內(nèi)其它設(shè)備繼承故障的業(yè)務(wù),從而保障錄像業(yè)務(wù)不中斷。
智能交通領(lǐng)域
云存儲(chǔ)可以通用采用虛擬化的容量管理方式,對(duì)外呈現(xiàn)為一個(gè)超大的存儲(chǔ)資源池,打破了單臺(tái)設(shè)備的設(shè)備資源和存儲(chǔ)資源瓶頸。然后根據(jù)項(xiàng)目實(shí)際圖片存儲(chǔ)需求按需分配存儲(chǔ)空間,劃分多個(gè)個(gè)圖片存儲(chǔ)池。劃分后的圖片存儲(chǔ)池依然采用虛擬和邏輯的方式,可以彈性的進(jìn)行擴(kuò)大或縮小以保證系統(tǒng)存儲(chǔ)資源最大化利用。其次云存儲(chǔ)系統(tǒng)可以支持雙網(wǎng)雙平臺(tái)的安全存儲(chǔ)方案,分別與共享平臺(tái)和公安聯(lián)網(wǎng)平臺(tái)協(xié)調(diào)互動(dòng)。云存儲(chǔ)系統(tǒng)通過(guò)采用集群虛擬IP技術(shù)對(duì)外提供唯一訪(fǎng)問(wèn)接口,以及提供標(biāo)準(zhǔn)化通信接口降低與共享平臺(tái)和公安聯(lián)網(wǎng)平臺(tái)的對(duì)接難度,為上層應(yīng)用提供高效的業(yè)務(wù)響應(yīng)能力,保證兩套云存儲(chǔ)系統(tǒng)數(shù)據(jù)安全完整一致。
云存儲(chǔ)系統(tǒng)可以提供豐富的高性能的圖片存儲(chǔ)服務(wù),通過(guò)提供標(biāo)準(zhǔn)的API接口(如:圖片寫(xiě)入、下載、壓縮、鎖定、覆蓋等)供上層平臺(tái)調(diào)用,簡(jiǎn)化業(yè)務(wù)流程,有效提高了業(yè)務(wù)響應(yīng)能力。比如:通過(guò)一體化索引設(shè)計(jì)技術(shù)在每次圖片數(shù)據(jù)存儲(chǔ)完成后,系統(tǒng)將圖片索引信息記錄在存儲(chǔ)管理節(jié)點(diǎn)中。這樣上層應(yīng)用平臺(tái)僅一次查詢(xún)就能提取到圖片的檢索信息;另外還可以通過(guò)云存儲(chǔ)按照時(shí)間段批量下載圖片信息或通過(guò)獲取URL下載指定圖片信息。
同時(shí)云存儲(chǔ)支持視頻/圖片的混存方式,一套系統(tǒng)既能存視頻,又能存圖片。相比于傳統(tǒng)的存儲(chǔ)技術(shù),視頻云存儲(chǔ)系統(tǒng)的這一特點(diǎn)為用戶(hù)節(jié)省了大量投資,減少了用戶(hù)在視頻、圖片綜合存儲(chǔ)時(shí)的操作和配置工作。
云存儲(chǔ)未來(lái)面臨問(wèn)題
標(biāo)準(zhǔn),是云存儲(chǔ)未來(lái)面臨的核心問(wèn)題!在云存儲(chǔ)整個(gè)產(chǎn)業(yè)鏈的發(fā)展過(guò)程中,硬件設(shè)備及系統(tǒng)、軟件服務(wù)與安全都是必不可少的環(huán)節(jié),云存儲(chǔ)產(chǎn)業(yè)的發(fā)展離不開(kāi)標(biāo)準(zhǔn)的支持,目前國(guó)內(nèi)還缺乏云存儲(chǔ)技術(shù)的相關(guān)標(biāo)準(zhǔn)。云存儲(chǔ)行業(yè)存在眾多的云存儲(chǔ)標(biāo)準(zhǔn),其中市場(chǎng)較為認(rèn)可的有亞馬遜S3接口標(biāo)準(zhǔn)和SINA標(biāo)準(zhǔn)。同時(shí),業(yè)界也推出了一些測(cè)試標(biāo)準(zhǔn),如SPC、SPEC和SNIA,推出綠色存儲(chǔ)計(jì)劃的節(jié)能減排標(biāo)準(zhǔn)及2014年剛啟動(dòng)編撰的公安行業(yè)云存儲(chǔ)標(biāo)準(zhǔn)?,F(xiàn)有的標(biāo)準(zhǔn)大多還僅局限于服務(wù)的接口標(biāo)準(zhǔn)化,對(duì)于管理接口、控制命令、系統(tǒng)的硬件標(biāo)準(zhǔn)很少涉及。在實(shí)際應(yīng)用過(guò)程中,不同云存儲(chǔ)服務(wù)提供商、云存儲(chǔ)設(shè)備間的互通在管理、控制方面存在較多問(wèn)題。同時(shí),云存儲(chǔ)也不局限于對(duì)象存儲(chǔ)范疇,包括數(shù)據(jù)庫(kù)、半結(jié)構(gòu)化數(shù)據(jù)等類(lèi)型的存儲(chǔ),目前還沒(méi)有相關(guān)云化標(biāo)準(zhǔn)。
技術(shù)和產(chǎn)業(yè)的發(fā)展離不開(kāi)標(biāo)準(zhǔn)的支持。云存儲(chǔ)本身還是一個(gè)新興的事物,在其發(fā)展過(guò)程中,標(biāo)準(zhǔn)化建設(shè)是一項(xiàng)極為重要的常規(guī)性工作。一個(gè)行業(yè)的標(biāo)準(zhǔn)水平如何,直接標(biāo)志著這個(gè)行業(yè)的發(fā)展品質(zhì)和發(fā)展水平。
結(jié)語(yǔ)
云存儲(chǔ)系統(tǒng)未來(lái)在平臺(tái)對(duì)接整合、業(yè)務(wù)流程梳理、視頻數(shù)據(jù)智能分析深度挖掘及成本方面都將面臨挑戰(zhàn)。承建大型系統(tǒng)、構(gòu)建云存儲(chǔ)的商業(yè)模式也亟待創(chuàng)新。受限于寬帶網(wǎng)絡(luò)、web2.0技術(shù)、應(yīng)用存儲(chǔ)技術(shù)、文件系統(tǒng)、P2P、數(shù)據(jù)壓縮、CDN技術(shù)、虛擬化技術(shù)等的發(fā)展,未來(lái)云存儲(chǔ)還有很長(zhǎng)的路要走。但我相信隨著云存儲(chǔ)、云計(jì)算以及大數(shù)據(jù)應(yīng)用技術(shù)的成熟和完善,行業(yè)勢(shì)必會(huì)更快速的發(fā)展。云時(shí)代的到來(lái)已為我們指明了方向,云存儲(chǔ)技術(shù)就像是奠定未來(lái)世界的基石,讓我們可以更加經(jīng)濟(jì)的進(jìn)行系統(tǒng)建設(shè),更加高效的進(jìn)行數(shù)據(jù)分析,更加有力的推動(dòng)社會(huì)的進(jìn)步和發(fā)展。