平安城市存儲需求

　　平安城市視頻監(jiān)控系統(tǒng)一般具有監(jiān)控點多、攝像頭數(shù)量多、保存時間長(監(jiān)控數(shù)據(jù)的保存時間多一個月以上)。因此視頻監(jiān)控系統(tǒng)存儲必須支持大容量，且容量具有高擴展性，滿足長時間大容量視頻圖像存儲的需求。存儲系統(tǒng)在市公安局、縣公安局、派出所等視頻圖像中心或視頻圖像信息前端匯集平臺，根據(jù)視頻圖像信息前端匯集情況，配備視頻圖像信息存儲設(shè)備，對其匯聚的視頻圖像信息資源進行錄像，配備視頻圖像信息存儲設(shè)備，對其自建的視頻圖像信息資源進行錄像。

　　平安城市的影像信息存儲技術(shù)要求：

　　· 每路視頻圖像信息的錄像回放分辨率應(yīng)不低于D1標清與720P高清格式;

　　· 采用標準MPEG-4、H.264格式進行編碼，并能由VLC譯碼;

　　· 保證至少能以D1/720P的圖像分辨率錄像30天以上不間斷存儲;

　　· 對錄像檢索快速，具有完整的檢索條件。支持多用戶同時回放同一錄像，對基于對象的智能檢索有一定的擴展能力;

　　· 具有用戶友好的互接口，并可以剪輯播放。具有依檔案或時間段下載錄像備份的功能;

　　· 存儲時間同步，數(shù)字圖像存儲設(shè)備可支持NTP;

　　· 設(shè)定時間誤差應(yīng)≤10秒內(nèi);

　　· 具有根據(jù)時間、容量等條件實現(xiàn)自動清理磁盤策略;

　　· 提供可供二次開發(fā)軟件SDK包和API接口函數(shù);

　　· 當一級監(jiān)控中心“宕機”時,二級監(jiān)控中心可具備七天的監(jiān)視錄像存儲功能。當一級監(jiān)控中心存儲恢復(fù)正常后，存儲自動轉(zhuǎn)入一級監(jiān)控中心存儲，并在后臺執(zhí)行本地視頻數(shù)據(jù)拷貝到上一級監(jiān)控中心存儲，以保證錄像的完整性;

　　· 一級監(jiān)控中心的集中存儲用來存儲重要事件視頻數(shù)據(jù)庫，需長期保存;

　　· 依IP網(wǎng)絡(luò)的性能，并依據(jù)公安業(yè)務(wù)要求實現(xiàn)對視頻進行有效管理應(yīng)用，建設(shè)一個具有穩(wěn)定可靠、架構(gòu)設(shè)置簡單、易維護升級的數(shù)字視頻存儲系統(tǒng)。

　　視頻數(shù)據(jù)存儲技術(shù)

　　依據(jù)平安城市監(jiān)控網(wǎng)絡(luò)建置架構(gòu)，在系統(tǒng)視頻數(shù)據(jù)的集中存儲方式上可以實行的方式有以下。

　　DAS

　　DAS即直接連接存儲方式，采用SCSI和FC技術(shù)，將外掛存儲裝置通過網(wǎng)絡(luò)線或光纖鏈接，直接連接到一臺工作站上，數(shù)據(jù)存儲是整個服務(wù)器結(jié)構(gòu)的一部分方式。

　　NAS

　　NAS即網(wǎng)絡(luò)附掛存儲，這是一種專業(yè)的網(wǎng)絡(luò)檔案存儲服務(wù)器，或稱為網(wǎng)絡(luò)直連存儲裝置，使用NFS 或 CIFS協(xié)議，通過 TCP/IP進行檔案訪問。

　　SAN

　　SAN即存儲局域網(wǎng)絡(luò)，以數(shù)據(jù)存儲為中心的專用儲存網(wǎng)絡(luò)，網(wǎng)絡(luò)結(jié)構(gòu)可伸縮，可實現(xiàn)存儲設(shè)備和應(yīng)用服務(wù)器之間數(shù)據(jù)塊級的I/O數(shù)據(jù)訪問。按照所使用的協(xié)議和介質(zhì)，SAN分為FC-SAN、IP-SAN、IB-SAN三種。

　　IP-SAN/NAS

　　IP-SAN/NAS在SAN結(jié)構(gòu)下使用的iSCSI協(xié)議，作為在IP網(wǎng)絡(luò)上訪問數(shù)據(jù)塊級新的 Internet SCSI標準，在SAN和NAS之間架設(shè)了一道橋梁。iSCSI最初是由Cisco和IBM兩家公司發(fā)起的，之后提交給Internet工程任務(wù)組 (IETF) 將其標準化。是融合NAS和SAN的技術(shù)。是可在TCP/IP網(wǎng)絡(luò)發(fā)送、接收Block級數(shù)據(jù)的存儲服務(wù)器。[nextpage]

　　選擇存儲方式的考慮因素

　　在平安城市項目中，選擇存儲方案時需考慮到：

　　· 采用H.264或MPEG-4視頻格式，但各種編碼器都有各自的播放庫;

　　· 數(shù)字視頻數(shù)量影響到存儲容量和存儲性能需求;

　　· 視頻頻寬/記錄時間：影響到存儲容量和性能需求。一般視頻頻寬的范圍是從1Mbps-8Mbps，但通常都在2Mbps-4Mpbs范圍之內(nèi)以滿足標清及高清訊號;

　　· 視頻錄像應(yīng)能保持30天的存儲;

　　· 視頻流的記錄方式：影響到存儲空間的接口。目前了解到信息，各種DVS/NVS/編碼器全部使用文件系統(tǒng)記錄視頻(錄像)，方法為按固定的時間間隔生產(chǎn)視頻檔;

　　· 穩(wěn)定可靠性要求：一些視頻監(jiān)控系統(tǒng)對監(jiān)控業(yè)務(wù)連續(xù)性要求很高，要求設(shè)備故障不能影響到當前的監(jiān)視和記錄;

　　· 隨著公安業(yè)務(wù)發(fā)展，視頻存儲要能擴充。

　　以IP-SAN作為平安城市最佳網(wǎng)絡(luò)儲存應(yīng)用技術(shù)

　　IP-SAN是一種基于IP以太網(wǎng)絡(luò)的網(wǎng)絡(luò)區(qū)域存儲架構(gòu)，它使用iSCSI協(xié)議代替光纖信道 (FC)協(xié)議來傳輸數(shù)據(jù)，讓IP-SAN架構(gòu)不必使用昂貴的光纖網(wǎng)絡(luò)、FC-HBA卡和光纖信道存儲設(shè)備，而是使用IP以太網(wǎng)絡(luò)、以太網(wǎng)卡和iSCSI存儲設(shè)備。因此，相比FC-SAN，IP-SAN存儲架構(gòu)成本低很多。與FC-SAN類似，IP-SAN也可以將存儲設(shè)備分成一個或多個檔案卷，并匯出給前端應(yīng)用客戶端，客戶端計算機可以對這些導(dǎo)過來的卷進行新建文件系統(tǒng)操作?？蛻舳擞嬎銠C對這些卷的訪問方式為設(shè)備的級塊訪問，塊級訪問的特性決定了iSCSI數(shù)據(jù)訪問的高I/O性能和傳輸?shù)脱舆t。

　　這種應(yīng)用于平安城市的海量儲存IP-SAN具有IP網(wǎng)絡(luò)以下的優(yōu)點：

　　· 實現(xiàn)彈性擴展的存儲網(wǎng)絡(luò)，能自適應(yīng)應(yīng)用的改變;

　　· 已經(jīng)驗證的傳輸設(shè)備保證運行的可靠性;

　　· 以太網(wǎng)從1G向更高速過渡，只需通過簡單的升級便可得到極大的性能提升;

　　· IP跨長距離擴展能力，輕松實現(xiàn)遠程數(shù)據(jù)復(fù)制和災(zāi)難恢復(fù);

　　· 使用上因大量熟悉的網(wǎng)絡(luò)技術(shù)和管理的人才將會減少系統(tǒng)培訓(xùn)和人力成本;

　　· 基于IP的存儲最大貢獻在于將存儲網(wǎng)絡(luò)集成到主流的數(shù)據(jù)通信領(lǐng)域中。

　　海量視頻存儲方案設(shè)計

　　平安城市項目由于視頻接入數(shù)量龐大，存儲系統(tǒng)設(shè)計大多采用分布式存儲和集中存儲網(wǎng)絡(luò)構(gòu)架，在市公安局、縣公安局、派出所等視頻中心或視頻信息前端平臺，根據(jù)視頻信息前端收集情況，配備視頻信息存儲設(shè)備，對其收集的視頻信息資源進行錄像。這二種儲存方式的架構(gòu)設(shè)計大致如下：

　　· 分布式網(wǎng)絡(luò)存儲 ：在派出所和縣監(jiān)控中心接入前端視頻監(jiān)控圖像，部署網(wǎng)絡(luò)存儲設(shè)備，前端視頻信息包括高清網(wǎng)絡(luò)攝像機直接存儲到網(wǎng)絡(luò)存儲裝置內(nèi);

　　· 集中式網(wǎng)絡(luò)存儲 ：IP網(wǎng)絡(luò)攝像機(包括網(wǎng)絡(luò)球機、高清網(wǎng)絡(luò)攝像機)分布在各個不同的派出所轄區(qū)，錄像數(shù)據(jù)集中存儲在縣局監(jiān)控中心的網(wǎng)絡(luò)存儲設(shè)備中。派出所通過網(wǎng)絡(luò)調(diào)用轄區(qū)范圍內(nèi)的視頻影像，實現(xiàn)監(jiān)控系統(tǒng)的實時監(jiān)控和管理。[nextpage]

　　存儲方式選擇

　　對于接入數(shù)量龐大的城市視頻監(jiān)控，為減少派出所到區(qū)縣分局的視頻傳輸壓力，保障派出所一線實戰(zhàn)單位的應(yīng)用，系統(tǒng)采用分布式設(shè)計，支持多種存儲設(shè)備共存，同時縣分局和上級市局指揮中心采用集中存儲設(shè)備備份重點監(jiān)控圖像。儲存方式一般可規(guī)劃如下：

　　· 派出指揮中心,實時存儲視頻30天D1格式，分配IP-SAN存儲;

　　· 對于監(jiān)控點位較少的派出所可將視頻圖像直接存儲到上級縣公安分局;

　　· 市(分)局指揮中心存儲接入所轄區(qū)域重要視頻圖像、社會視頻資源。

　　存儲管理服務(wù)器管理方式

　　在派出所和縣監(jiān)控中心部署存儲管理服務(wù)器，內(nèi)嵌平臺軟件的網(wǎng)絡(luò)存儲管理服務(wù)軟件，是針對大型網(wǎng)絡(luò)監(jiān)控系統(tǒng)環(huán)境的專用存儲管理軟件模塊，實現(xiàn)遠程所有圖像的實時錄像、報警錄像、中心集中備份和事后檢索查詢服務(wù)，計劃錄像下支持補錄。支持DAS、NAS、SAN等多種存儲方式，對于視頻存儲建議采用IP-SAN存儲方式。網(wǎng)絡(luò)存儲管理服務(wù)器根據(jù)需求可以分布式部署，目前可以部署在派出所、縣分局和市局，一臺存儲管理服務(wù)器可以管理的視頻路數(shù)不限，但是同時并發(fā)存儲處理的視頻路數(shù)受到服務(wù)器性能限制，目前測試的結(jié)果是在Giga千兆網(wǎng)絡(luò)環(huán)境下一臺存儲服務(wù)器可以并發(fā)相應(yīng)1000路CIF格式的視頻流。

　　網(wǎng)絡(luò)存儲服務(wù)器軟件通過網(wǎng)絡(luò)獲取系統(tǒng)中所有視頻源的信息，存儲到大容量的存儲設(shè)備中。系統(tǒng)可以支持n臺計算器組成的分布式集群存儲結(jié)構(gòu)。在這些計算機的通訊底層是我們的高性能通訊平臺技術(shù)。在正常運作的情況下，每一臺存儲計算機負責(zé)存儲整個系統(tǒng)中的某些錄像信息。首先我們需要定義存儲組，每一個存儲組有n路圖像組成。我們把一個存儲組綁定到一臺存儲服務(wù)器，這樣全系統(tǒng)的圖像將通過不同的存儲服務(wù)器進行存儲。采用的模型是前端分布式錄像和后端集中錄像的綜合方法。存儲管理服務(wù)器管理的對象可以是PC服務(wù)器存儲設(shè)備、DVR設(shè)備、IP網(wǎng)絡(luò)攝像機，也可以是磁盤陣列或磁帶庫。

　　存儲容錯技術(shù)設(shè)計

　　在平安城市項目上存儲系統(tǒng)應(yīng)該可以提供多層次的容錯機制，以確報錄像儲存作業(yè)可以穩(wěn)定進行，首先系統(tǒng)體系結(jié)構(gòu)上的容錯技術(shù)。我們的系統(tǒng)支持分布式的集群技術(shù)，簡單地講，每臺服務(wù)器正常執(zhí)行當前的存儲任務(wù)，但是同時又作為其他服務(wù)器的后備集群節(jié)點。

　　當集群系統(tǒng)某一節(jié)點出現(xiàn)故障，那么我們的底層通訊協(xié)議能夠準確地監(jiān)測到這臺機器的問題，這就是所謂的成員離開事件，成員離開事件將被可信協(xié)議遞交到集群中的每一個節(jié)點，它的備份服務(wù)器將立刻承擔起失敗節(jié)點的責(zé)任，進行錄像。這就是容錯功能。而當失敗的節(jié)點修復(fù)后重新啟動并開始錄像，底層通訊協(xié)議能夠把這個重新加入的時間遞交給每一個節(jié)點，這是所謂的成員加入事件。備份服務(wù)器接收到這個時間以后就停止錄像，這就是錯誤恢復(fù)功能。

　　第二個層次上的容錯是在整個集群都和圖像源斷開，不能進行實時錄像。這個時候，我們通過計劃和實際的錄像執(zhí)行情況進行補錄，請參見后面的計劃和補錄。

　　第三個層次的容錯是在錄像分包時，每一個錄像文件結(jié)束和一個新的錄像文件開始，系統(tǒng)都被冗余一部分數(shù)據(jù)，以保證沒有任何圖像幀丟失。

　　存儲錄像計劃和補錄規(guī)劃

　　在平安城市存儲系統(tǒng)中每一個錄像組都可以具有自己的錄像計劃，錄像的執(zhí)行底層是我們的計劃和任務(wù)調(diào)度引擎。每次錄像過程中，系統(tǒng)都會紀錄錄像的運行時間，系統(tǒng)的維護服務(wù)器，根據(jù)預(yù)定計劃和實際的執(zhí)行情況的差異性，我們可以計算出需要補錄的時間段。補錄系統(tǒng)將自動從合適的DVR下載缺少的錄像信息。

　　錄像磁盤重整策略

　　當存儲系統(tǒng)發(fā)現(xiàn)存儲的容量超過系統(tǒng)規(guī)定的最高警戒線，將開始啟動清盤任務(wù)，這個工作是由維護服務(wù)器來管理的，維護服務(wù)器將定時檢查磁盤的情況，進行磁盤的清理、自動導(dǎo)出等功能。系統(tǒng)提供集中磁盤重整策略，包括先進先出，最近訪問，最多訪問，以及保留優(yōu)先權(quán)。在先進先出的情況下，所有最先錄制的圖像數(shù)據(jù)將被刪除。而在最近訪問策略中，越最近訪問的錄像數(shù)據(jù)將被保留越久，越多訪問策略則考慮整個系統(tǒng)用戶對數(shù)據(jù)的訪問頻度，訪問的人越多，錄像數(shù)據(jù)保留得越久。在所有這些策略中，都可以定義保留優(yōu)先級，如果某一通道的優(yōu)先保留權(quán)越高，那么它的資料將被越后刪除，并且系統(tǒng)可以定義保留的時間長度。

　　結(jié)語

　　高清與海量存儲發(fā)展到網(wǎng)絡(luò)階段，在平安城市項目中重點不再僅僅是簡單的存儲，而是如何能在海量信息當中達到快速、準確的錄像訪問和存取才是大家關(guān)注的。存儲的管理功能格外重要，因此，如何為用戶提供高性能、穩(wěn)定、易擴展、管理的解決方案才是 平安城市儲存解決方案迫切需要的。