整編/胡學慧
平安城市的大數(shù)據(jù)時代
大數(shù)據(jù)支撐平安城市應用
新一輪平安城市建設具有某些物聯(lián)網(wǎng)的特質(zhì),其架構分為“感、傳、知、用”四個組成部分。
在感知層,采用視頻采集設備、車載移動探頭進行信息采集;在傳輸層,構建視頻專網(wǎng),實現(xiàn)信息的可靠傳輸;
在認知層,搭建應用支撐平臺,提供公共信息接入、信息整合、信息交換等云服務;
在應用層,提供動態(tài)監(jiān)控、預測預警、智能分析等功能。
感知層由無處不在的末端設備和設施組成,包括具備“內(nèi)在智能”的傳感器、移動終端、視頻監(jiān)控系統(tǒng),在內(nèi)網(wǎng)、專網(wǎng)或互聯(lián)網(wǎng)環(huán)境下,采用適當?shù)男畔踩U蠙C制,提供安全可控乃至個性化的實時在線檢測、定位追溯、應急聯(lián)動、調(diào)動智慧、預案管理、遠程控制、安全防范、遠程維保、決策支持等管理與服務功能,實現(xiàn)高效、節(jié)能、安全、環(huán)保的“管、控、營”一體化。
不同種類、數(shù)量眾多的末端設備和設施的接入,必然會產(chǎn)生大量的數(shù)據(jù)。平安城市的建設和應用離不開大數(shù)據(jù)做支撐,平安城市的應用過程實際上就是對數(shù)據(jù)采集、分析、存儲和利用的過程。如何從紛繁復雜、不同類型的結構化、非結構化數(shù)據(jù)中準確無誤的提取出有價值的信息,需要IT服務提供商打破行業(yè)壁壘,深度挖掘行業(yè)應用,使大數(shù)據(jù)在政府決策、公共安全、城市應急防控、社會公共服務等方面發(fā)揮更大的作用。
平安城市大數(shù)據(jù)的特征
現(xiàn)階段,平安城市系統(tǒng)大數(shù)據(jù)的特征通常用4個V來概括,即: Volume、Variety、Value、Velocity。
特征一:數(shù)據(jù)體量巨大(Volume)。以視頻數(shù)據(jù)存儲為例,一個分辨率為1920×1080的200萬像素的高清攝像機,碼流為8Mbps,每月產(chǎn)生的視頻數(shù)據(jù)為2.47TB。對于一個擁有10萬個攝像機的中等規(guī)模的城市而言,每個月產(chǎn)生的數(shù)據(jù)在250PB左右。海量的視頻數(shù)據(jù)對數(shù)據(jù)存儲、并發(fā)處理的要求極高。
特征二:數(shù)據(jù)類型多(Variety)。平安城市產(chǎn)生的數(shù)據(jù)由結構化數(shù)據(jù)和非結構化數(shù)據(jù)組成。其中結構化數(shù)據(jù)以文本為主,非結構化包括網(wǎng)絡日志、音頻、視頻、圖片、地理位置信息等。這些多類型的數(shù)據(jù)對數(shù)據(jù)的處理能力提出了更高要求。
特征三:價值密度低(Value)。價值密度是有價值的數(shù)據(jù)量與數(shù)據(jù)總量的比值,如何在平安城市產(chǎn)生海量的數(shù)據(jù)提取出有價值的信息是平安城市建設的關鍵所在。
特征四:處理速度快(Velocity)。目前平安城市運行中產(chǎn)生的數(shù)據(jù)從PB級至EB級不等,并呈快速增長趨勢,從這些海量的數(shù)據(jù)中提取數(shù)據(jù)速度的快慢決定了平安城市提供服務的效率。
大數(shù)據(jù)存儲面臨挑戰(zhàn)
分布式大數(shù)據(jù)架構
平安城市在日常應用中會產(chǎn)生視頻、圖片等大量數(shù)據(jù),并且隨著時間的推移,數(shù)據(jù)量增長速度極快。通過對這些海量數(shù)據(jù)的分析和處理,提取出有價值的信息,是平安城市在公共安全、城市應急防控、社會公共服務等方面發(fā)揮作用的前提。Hadoop系統(tǒng)在處理這類問題時,采用了分布式存儲方式,提高了讀寫速度,并擴大了存儲容量。Hadoop是一個能夠讓用戶輕松架構和使用的分布式計算平臺。用戶可以輕松地在Hadoop上開發(fā)和運行處理海量數(shù)據(jù)的應用程序。
大數(shù)據(jù)的存儲與管理
大數(shù)據(jù)給傳統(tǒng)的數(shù)據(jù)存儲管理方式帶來了嚴峻的挑戰(zhàn),關系型數(shù)據(jù)庫在容量、性能、成本等多方面都難以滿足大數(shù)據(jù)管理的需求。云數(shù)據(jù)庫可以不受任何部署環(huán)境的優(yōu)勢,隨意地進行拓展,進而為客戶提供適宜其需求的虛擬容量,并實現(xiàn)自助式資源調(diào)配和自助式使用計量。NoSQL數(shù)據(jù)庫適合于以下場景,即龐大的數(shù)據(jù)量、極端的查詢量和模式演化NoSQL數(shù)據(jù)庫通過折中關系型數(shù)據(jù)庫嚴格的數(shù)據(jù)一致性管理,在可擴展性、模型靈活性、經(jīng)濟性和訪問性等方面具備很大的優(yōu)勢,可以更好地適應大數(shù)據(jù)應用的需求,成為大數(shù)據(jù)時代最重要的數(shù)據(jù)管理技術。這樣的云數(shù)據(jù)庫需滿足以下幾個方面:
高并發(fā)讀寫:對平安城市產(chǎn)生的海量數(shù)據(jù),需要具有高并發(fā)讀寫的能力,需要能夠處理PB級的數(shù)據(jù),同時應對百萬級的流量;
高效率存儲和訪問:存儲適應不同數(shù)據(jù)類型,盡量簡化數(shù)據(jù)操作,提升效率;
高可擴展性和高可用性:支持水平擴展,可簡單的通過添加服務節(jié)點來擴展數(shù)據(jù)容量和負載能力,數(shù)據(jù)庫升級不影響服務持續(xù);
降低建設與運維成本:在建設期的軟硬件成本和運維期產(chǎn)生的人力成本都要求有大幅降低。
西部數(shù)據(jù)——大數(shù)據(jù)時代的主角
平安城市的建設是當前國家城市發(fā)展的重點議題,不論是新技術的應用和改進,還是數(shù)據(jù)的安全存儲,都是地方政府以及公安等關聯(lián)部門需要考慮的重點要素。
硬盤是平安城市大數(shù)據(jù)中心的核心部件,不僅關系到云計算與大數(shù)據(jù)的服務、計算和性能,更關系到整個云數(shù)據(jù)中心平臺的TCO。平安城市跨入云計算和大數(shù)據(jù)時代后,爆炸式數(shù)據(jù)的增長對容量要求越來越大,以及不斷增長的數(shù)據(jù)備份、歸檔等需求,這些快速增長的需求將以存儲立業(yè)的西部數(shù)據(jù)推到平安城市建設的舞臺中央。
“眾所周知,在平安城市的應用中,數(shù)以萬億計的數(shù)據(jù)會產(chǎn)生,無論是從數(shù)據(jù)量還是存儲數(shù)據(jù)類型、存儲時間等方面來說,都是計算機私人用戶無法可比擬的。“西部數(shù)據(jù)在存儲領域擁有領先的技術和客戶資源,經(jīng)過多年的合作和實際應用的反饋,能夠充分了解用戶的需求,并在產(chǎn)品研發(fā)中以實現(xiàn)。最新上市的西數(shù)紫盤是專為安防監(jiān)控設計的產(chǎn)品,在使用中能夠大大減少丟幀率,另外最高可支持32路視頻,大大提高效率的同時更可實現(xiàn)節(jié)能,更支持高清視頻技術, 西數(shù)紫盤穩(wěn)定可靠的效能更是行業(yè)領先。”西部數(shù)據(jù)中國區(qū)業(yè)務經(jīng)理俞稚鷗先生在受訪中提到,“此外,西部數(shù)據(jù)攜手??低?,打造HV78專屬解決方案硬盤以及打包整合計劃。我們從性能、兼容性以及可靠性各個方面去滿足當前智慧城市對安防監(jiān)控的需求,滿足越來越嚴苛的環(huán)境考驗。”
監(jiān)控存儲王牌——WD紫盤
WD紫盤(WD Purple)監(jiān)控存儲系列是西部數(shù)據(jù)BGBRP五色家族最新成員,以獨特紫色樹立最佳安防監(jiān)控存儲盤形象。WD紫盤監(jiān)控存儲系列不僅擁有1TB至4TB的不同容量可供用戶們選擇,還能支持多達8個盤位視頻監(jiān)控存儲系統(tǒng),并支持高達32個高清攝像頭和同時32路讀/寫操作,采用獨家的AllFrame(全幀)技術可以大大減少監(jiān)控畫面丟幀,播放與回放更為順暢,可靠的性能容許其在7天24小時的超大負荷環(huán)境下無誤運行。
WD紫盤能真正的成為各領域視頻監(jiān)控存儲完美存儲解決方案。在物聯(lián)網(wǎng)的應用中,存儲產(chǎn)品的安全性和穩(wěn)定性備受考驗,并以其領先的技術支持用戶高枕無憂輕松應對多重復雜環(huán)境,兼容各種安全系統(tǒng)。特別是在平安城市、智能交通等領域,WD紫盤可謂是最完美的選擇。
專為??刀ㄖ苹O(jiān)控專用硬盤:HV78
HV78誕生于2012年,該產(chǎn)品是由西部數(shù)據(jù)與??低曊归_首度合作而誕生的首款專業(yè)安防監(jiān)控定制設計的解決方案。以海康威視命名的“HV78”也成為了名副其實的“??低暥ㄖ苹O(jiān)控專用硬盤”,這款WD針對??低暜a(chǎn)品特性設計生產(chǎn)的定制化DVR專用工業(yè)級監(jiān)控硬盤,作為全球第一款為安防監(jiān)控應用而定制的硬盤,經(jīng)過WD多方研究,并從性能、兼容性等多方面進行優(yōu)化,配合??低暤慕鉀Q方案足以為打造平安城市提供更完善,更智能的解決方案。
WDSeTM海盤技術特性
西部數(shù)據(jù)早已看到云數(shù)據(jù)中心對硬盤的巨大需求,在2013年6月份,西數(shù)就推出了全球首款專為橫向擴展的云數(shù)據(jù)中心設計的存儲驅(qū)動器--WD Se海量企業(yè)盤。
WDSe最大的特點是高可靠性和長時間運轉,基于企業(yè)級平臺打造,支持最新SATA6Gbps規(guī)格,64MB緩存,轉速7200rpm。非常適合24×7×52不間斷的安防監(jiān)控存儲使用。WDSe系列硬盤在性能、大規(guī)模復制環(huán)境的高可靠性、中型的網(wǎng)絡附加存儲部署(NAS)以及備份/歸檔應用程序等方面做到了良好的平衡。該系列經(jīng)過至少500萬小時的功能與發(fā)熱測試,以及超過2000萬小時的服務器與存儲系統(tǒng)真實負載測試。提供2TB、3TB、4TB容量,所有型號享受5年質(zhì)保。
企業(yè)級WDReTM技術特性
可靠、穩(wěn)定的WDRe標準企業(yè)級存儲系列,在持續(xù)讀取和寫入性能方面發(fā)揮出色。140萬小時的MTBF平均無故障時間為企業(yè)在7×24的高強度運轉環(huán)境下,為安防監(jiān)控存儲提供了高度可靠性。它還能滿足企業(yè)云和數(shù)據(jù)中心所追求的高密度儲存,低耗電量和安全可靠性的諸多需求。WDRe具有64MB緩存、7200RPM轉速,含有最久長達五年的質(zhì)保售后服務和24/7技術支持。
為什么是西部數(shù)據(jù)?監(jiān)控級!
“您不能騎著自行車到全國拉貨物,這不適合這項工作。”打開西部數(shù)據(jù)官網(wǎng),您可以見到這樣一條宣傳語。“同理,您不能在監(jiān)控安全系統(tǒng)中使用臺式硬盤,這也不適合這種用途。”
24×7 全日值守型
西部數(shù)據(jù)監(jiān)控級硬盤經(jīng)過測試,可兼容各種安全系統(tǒng)。這些硬盤可替代并不適用于 24×7 全日值守型惡劣高清監(jiān)控環(huán)境的標準臺式硬盤。臺式硬盤在構造上只能持續(xù)較短的時間,在設計上不能承受一般監(jiān)控應用中常見的高溫波動和設備振動。
AllFrame 帶來更高的性能
WD Purple 監(jiān)控級硬盤配有 AllFrame 技術,該技術結合 ATA 流式傳輸技術可減少失幀,改善播放效果,增加支持的盤位數(shù)量。AllFrame 可以減少錯誤地在安全系統(tǒng)中使用臺式硬盤作為存儲器所常見的視頻中斷次數(shù)。當發(fā)生事故后需要查看監(jiān)控畫面時,失幀和畫面丟失是一個嚴重的問題。而采用 AllFrame 的 WD Purple 則不同,它可以在播放和審查關鍵監(jiān)控鏡頭時為您提供如愿以償?shù)目尚判浴?/p>
主要優(yōu)點:
監(jiān)控級存儲器可以減少視頻失幀。
專為監(jiān)控安全系統(tǒng)進行了優(yōu)化。
高速緩存算法針對監(jiān)控應用中常見的寫密集型、低碼率的多流應用程序進行了優(yōu)化;
優(yōu)先更改寫分配和搶先式緩存策略;
TLER 支持 ATA 流式傳輸;
支持多達八塊硬盤;
專為優(yōu)越的兼容性而設計。
其中,WD Purple 監(jiān)控硬盤專為兼容行業(yè)領先機箱和芯片組制造商而設計,可無縫地集成到新建或現(xiàn)有的視頻監(jiān)控系統(tǒng)中。
優(yōu)化性能,支持多達 32 個高清攝像頭
WD Purple 硬盤經(jīng)過優(yōu)化,支持多達 32 個高清監(jiān)控攝像頭,讓您可以在今后靈活地升級和擴展您的安全系統(tǒng)。
低功耗
在高溫全日值守型監(jiān)控環(huán)境中,低功耗至關重要。由于采用了獨家的 IntelliSeek 技術,西部數(shù)據(jù)監(jiān)控級硬盤可計算最佳的尋道速度,從而降低功耗、噪音以及可迅速損壞和導致臺式硬盤磨損的振動。
監(jiān)控系統(tǒng)最佳選擇
作為專為安防領域?qū)俣ㄖ频谋O(jiān)控級硬盤,WD Purple、HV78等設備已在平安城市、智能交通、銀行等多個應用領域落地開花,并用實力在用戶圈贏得較好的口碑。
據(jù)接近西部數(shù)據(jù)公司的人士透露,未來西部數(shù)據(jù)將進一步完善西部數(shù)據(jù)在監(jiān)控級硬盤領域的布局。在大數(shù)據(jù)與云計算快速發(fā)展的當下,西部數(shù)據(jù)將為更多的平安城市用戶提供更佳的存儲解決方案。
—專家點評—
“西數(shù)+???rdquo;方案,視頻存儲革命性的又一舉動
朱明初/a&s編輯咨詢委員、上海市公安局技防專家?guī)斐蓡T、上海保安服務總公司高級工程師,熟悉行業(yè)標準驗收規(guī)范。擁有豐富的項目驗收經(jīng)驗。
西部數(shù)據(jù)是數(shù)字存儲領域的知名廠商,現(xiàn)在也是享譽安防圈的視頻存儲專家。其推出的視頻監(jiān)控專用“紫盤”可配合采用全新的流媒體直寫存儲技術使用,它的優(yōu)點是:目前和同類產(chǎn)品相比,視頻存儲效率最高,功耗最小,存儲可靠性最高,存儲成本最低,系統(tǒng)最穩(wěn)定。
西部數(shù)據(jù)監(jiān)控專用硬盤與海康威視的存儲技術相結合,可以快速地寫入流媒體數(shù)據(jù),并且可以快速地完成視頻數(shù)據(jù)的檢案。這正是公安和智能交通目前最需要的技術。大量的案件是發(fā)生在小區(qū)、公共場所和道路等地方的,而這些地方的視頻監(jiān)控方案大多采用DVR硬盤錄像機和NVR網(wǎng)絡硬盤錄像機。如果都能采用西部數(shù)據(jù)和??低曂瞥龅拇鎯?、檢索技術,那將是革命性的又一舉動。
利用HDCVI創(chuàng)新技術在SYV75電纜上傳輸高清視頻,大華做到了。我們期待著在普通DVR和NVR上更新軟件和“紫盤”后能實現(xiàn)圖像直存和秒級視頻檢索。
Q:是否方便透露一下,西部資料針對視頻監(jiān)控產(chǎn)業(yè)的設備研發(fā)進程以及戰(zhàn)略布局?
A:在西部數(shù)據(jù)前一個年度的統(tǒng)計中,使用在非PC設備的硬盤首次超過應用于PC設備的硬盤數(shù)量,在應用于非PC設備的硬盤中,最主要的部分就是應用在監(jiān)控設備中的硬盤,這也是西部數(shù)據(jù)非??春玫囊粋€行業(yè),因此西部數(shù)據(jù)也會在這方面保持持續(xù)的關注和投入。
在產(chǎn)品方面,自今年年初西部數(shù)據(jù)發(fā)布監(jiān)控紫盤產(chǎn)品,并順勢成為第一個在全球市場出貨的4TB監(jiān)控級硬盤產(chǎn)品;同時,隨著監(jiān)控領域技術的發(fā)展,全高清甚至4k分辨率技術的普及,對存儲的容量的需求也在不斷的增長,西部數(shù)據(jù)也會根據(jù)市場的要求推出更大容量的產(chǎn)品。除了在容量方面的增長外,另外一個發(fā)展的方向是針對監(jiān)控設備的兼容性及性能的不斷優(yōu)化,在此次紫盤產(chǎn)品發(fā)布的同時,已經(jīng)完成了20多個市場主流廠商的兼容性測試,并且隨后推出了與監(jiān)控行業(yè)領先廠商??低暵?lián)合推出了全新一代HV78監(jiān)控定制硬盤,以達到針對設備的進一步優(yōu)化,以改變過去一個產(chǎn)品配合所有設備和應用的方式。
Q:西部資料監(jiān)控級存儲方案有哪些特點?其應用于平安城市監(jiān)控系統(tǒng)中有哪些優(yōu)勢?
A:西部數(shù)據(jù)最新推出的監(jiān)控紫盤產(chǎn)品,主要針對現(xiàn)在監(jiān)控存儲的數(shù)字化和高清的趨勢推出了AllFrameTM技術,可以更好的配合支持多路高清數(shù)字攝像機的NVR產(chǎn)品,在多路高清影像數(shù)據(jù)的記錄的同時進行流暢的實時回放。同時,西部數(shù)據(jù)的監(jiān)控級存儲產(chǎn)品一直以低功耗節(jié)能技術更著稱,全新一代的紫盤產(chǎn)品更是達到了業(yè)界領先的功耗水平。
在應用于平安城市監(jiān)控系統(tǒng)的多級存儲方案中,可以更好的支持基于網(wǎng)絡傳輸?shù)母咔逡曨l記錄存儲的應用,以更合理的容量價格比為平安城市提供更高效、綠色、可靠的海量視頻存儲方案。西數(shù)的監(jiān)控紫盤最高支持8塊硬盤和32各攝像頭的監(jiān)控設備,為用戶提供24x7全日值守的高清監(jiān)控服務。
Q: 相較金融、智慧建筑等行業(yè),平安城市對視頻監(jiān)控數(shù)據(jù)存儲也有自身的特殊需求,比如海量數(shù)據(jù)存儲、數(shù)據(jù)信息高安全、查詢快速便捷。對此,西部資料在技術研發(fā)上是否有一些針對性的策略或產(chǎn)品開發(fā)?
A:視頻監(jiān)控領域一直對于存儲容量方面有比較高的要求,西部數(shù)據(jù)也一直在這方面技術保持領先位置,隨時準備在客戶需要的時候提供更大容量的產(chǎn)品;在西部數(shù)據(jù)監(jiān)控級紫盤產(chǎn)品研發(fā)規(guī)程中,通過對視頻監(jiān)控應用市場的調(diào)研和針對性的開發(fā),推出了全新的AllFrameTM技術,在保證可靠的數(shù)據(jù)記錄的同時,也為實時的數(shù)據(jù)回放進行了全面的優(yōu)化,保證減少視頻,高速緩存算法針對監(jiān)控應用中常見的寫密集型,低碼率的多流應用程序進行優(yōu)化,并且優(yōu)先更改寫分配和搶先式緩存策略??梢灾С肿罡?塊盤和最大32路高清視頻影像的同時記錄和回放,改變了以往市場上的監(jiān)控級硬盤產(chǎn)品側重記錄性能情況。
Q:從2014年公開的招投標檔來看,“云存儲”已經(jīng)被寫入不少平安城市監(jiān)控項目的技術要求中。西部數(shù)據(jù)是如何看待這種現(xiàn)象或趨勢?對于“云存儲”或“云計算”,西部資料是否有做相應的技術儲備?
A:西部數(shù)據(jù)在云存儲方面已經(jīng)與全球多家領先的互聯(lián)網(wǎng)、數(shù)據(jù)中心行業(yè)的領先企業(yè)進行合作,并專門推出了針對云存儲應用的WD Se系列海量存儲硬盤產(chǎn)品,這個系列產(chǎn)品基于西部數(shù)據(jù)企業(yè)級WD Re產(chǎn)品,在提供企業(yè)級硬盤產(chǎn)品可靠性和支持RAID技術的同時專門針對基于分布式存儲的云存儲方案進行了全面的優(yōu)化,是應用于視頻監(jiān)控云存儲系統(tǒng)的可靠性、功能性、性價比的最優(yōu)之選,目前已經(jīng)在國內(nèi)多個平安城市項目中進行了應用。
Q:作為一家專注于數(shù)字存儲的企業(yè),西部資料是如何審視當前國內(nèi)的平安城市乃至智慧城市市場,以及其存儲應用發(fā)展趨勢?
A:從整個行業(yè)來看,在國家的大力扶持下,平安城市正在大規(guī)模的普及,不僅是傳統(tǒng)監(jiān)控行業(yè),許多IT巨頭也在關注智慧城市、物聯(lián)網(wǎng)等科技的應用。
在西數(shù)看來,整個行業(yè)擁有非常好的前景,同樣的大數(shù)據(jù)時代對于存儲解決方案的需求也不斷的增加也為西數(shù)帶來了非常多的發(fā)展機遇。從產(chǎn)品的角度出發(fā),國內(nèi)的平安城市、智慧城市應用,在高清、IP、云存儲這幾個大的趨勢的引導下,會需要更多針對應用特點開發(fā)的系統(tǒng)及存儲產(chǎn)品,西部數(shù)據(jù)也會密切關注這個市場的發(fā)展,有針對性的推出可以滿足用戶應用需求的存儲產(chǎn)品。