成都市骨架路網(wǎng)產(chǎn)生海量視頻監(jiān)控數(shù)據(jù)

　　營造智能交通 從數(shù)據(jù)著手

　　由于智能交通在信息采集、交通管控、信息服務(wù)上滿足了未來交通的發(fā)展需要，因此智能交通系統(tǒng)在各大城市都成為基礎(chǔ)建設(shè)的重心之一。在2017交通運輸工作會議上，交通運輸部部長李小鵬在會上表示，2016年智慧交通蓬勃發(fā)展，而2017年交通運輸工作的主要目標是將加快推進智慧交通和綠色交通發(fā)展,提高行業(yè)科技創(chuàng)新能力, 推進實現(xiàn)基礎(chǔ)設(shè)施、載運工具等“可視、可測、可控”。

　　然而，在成都市智能交通管控系統(tǒng)建設(shè)中，視頻監(jiān)控子系統(tǒng)卻切實感受到了數(shù)據(jù)增長帶來的“切膚之痛”：該骨架路網(wǎng)布設(shè)了將近300個高清IP攝像機，每天都會產(chǎn)生3TB左右的數(shù)據(jù)(如高清監(jiān)控圖片，以及圖片中車牌、位置等信息)，且很多都是非結(jié)構(gòu)化數(shù)據(jù)，目錄和文件數(shù)量十分可觀。這些數(shù)據(jù)不僅要用于實時分析，還必須長期保留以備后續(xù)查閱，需要的數(shù)據(jù)存儲是PB級的。在改造之前，該骨架路網(wǎng)部署的傳統(tǒng)存儲系統(tǒng)文件檢索采用的是“目錄->子目錄->文件->定位”的檢索步驟，導(dǎo)致單張圖片的檢索常常要耗費十幾秒的時間，嚴重影響了交通執(zhí)法、取證的效率。

　　其次，城市骨架路網(wǎng)無時無刻不運行著大量車輛，視頻監(jiān)控系統(tǒng)也要7*24小時處于工作之中，其擁有交通流量分析、機動車違法信息采集、稽查布控、指揮調(diào)度等各種應(yīng)用，存儲著大量高價值數(shù)據(jù)，一旦因為存儲系統(tǒng)故障導(dǎo)致這些數(shù)據(jù)丟失或是泄露，后果不堪設(shè)想。因此，成都市交通管理部門將數(shù)據(jù)存儲系統(tǒng)的安全性與高可用性放在了重要的位置，要求視頻監(jiān)控系統(tǒng)不會因為系統(tǒng)故障而宕機，數(shù)據(jù)在意外情況下不丟失。

　　成都交通管理部門表示：“視頻監(jiān)控數(shù)據(jù)的存儲以及應(yīng)用一直是個大問題，我們在成熟骨架路網(wǎng)布設(shè)了大量攝像頭，以實時感知交通的任何‘風(fēng)吹草動’。但是，這些監(jiān)控數(shù)據(jù)的增長速度遠遠超過我們系統(tǒng)的支撐能力。為此，我們決定與浪潮合作，采用分布式存儲的方式來提供便捷擴容、自動均衡、跨節(jié)點數(shù)據(jù)冗余能力，全面提高視頻監(jiān)控的性能、安全性、可用性。”

　　浪潮AS13000

　　浪潮AS13000為成都交通擦亮雙眼

　　在分析成都交通管理部門的需求之后，浪潮立刻安排工程師與客戶對需求進行溝通、調(diào)研，并最終提供了面向云計算、大數(shù)據(jù)存儲的高性能集群架構(gòu)產(chǎn)品AS13000存儲系統(tǒng)。其配置一套AS13000分布式存儲系統(tǒng)搭建起云存儲平臺，通過萬兆iSCSI網(wǎng)絡(luò)與前端監(jiān)控平臺連接，作為監(jiān)控平臺的視頻存儲資源池，為監(jiān)控平臺提供其所需的存儲資源。同時，也可利舊原有磁盤陣列，利用前端監(jiān)控平臺的軟件功能，將相關(guān)圖片存儲到浪潮AS13000分布式存儲資源池當(dāng)中。在浪潮AS13000部署之后，成都骨干路網(wǎng)的數(shù)據(jù)存儲需求得到了有效滿足。

　　拓撲圖

　　圖片檢索從十幾秒到秒開的飛躍：對于成都市骨架路網(wǎng)的視頻監(jiān)控來說，在數(shù)據(jù)量這么大的情況下，要實現(xiàn)圖片查詢的“秒開”，提高讀寫性能、革新檢索架構(gòu)顯然是最佳的選擇。而浪潮AS13000分布式存儲很好的承擔(dān)了這個任務(wù)，其具備獨特的高性能集群架構(gòu)，可實現(xiàn)多節(jié)點的數(shù)據(jù)并發(fā)讀寫。在測試中，浪潮AS13000共計120個線程運行13.08小時，共寫入556萬個文件，完全滿足每天500萬個文件寫入的性能要求。

　　此外，AS13000整體支持十億級的文件數(shù)量，單目錄可以有效支持千萬級的文件數(shù)量，并擁有元數(shù)據(jù)服務(wù)集群技術(shù)，有效的解決海量數(shù)據(jù)檢索效率較低的問題，滿足了百億級別文件的快速檢索需求。在這些創(chuàng)新技術(shù)的加持下，該骨架路網(wǎng)的圖片檢索用時預(yù)計將從十幾秒降低到3秒以下，交通監(jiān)控圖片取證的“秒開秒解”不再是夢想。

　　PB級的容量 歷史監(jiān)控數(shù)據(jù)不再“查無可證”：一旦存儲容量即將耗盡，很多歷史監(jiān)控圖片、視頻就得刪除，取證當(dāng)然也就無法進行——這在過去是成都交通管理部門的心病。要解決這個問題，方法也很簡單，就是增加存儲容量，那么如何控制由此產(chǎn)生的成本壓力呢?浪潮AS13000給出的答案是高擴展性，其在通過6個節(jié)點提供PB級存儲容量的同時，最大支持480PB以上的存儲容量，隨著節(jié)點數(shù)量的增加，整體容量增加的同時還可顯著的提升系統(tǒng)整體帶寬，可滿足視頻監(jiān)控系統(tǒng)未來的發(fā)展需求。同時，浪潮AS13000分布式存儲系統(tǒng)大大提高了存儲效率，通過虛擬化技術(shù)解決了存儲空間的浪費，可以自動重新分配數(shù)據(jù)，這樣一來，成都交通管理部門就可以節(jié)約大量的存儲空間，成本也隨之降低了。

　　發(fā)生意外之后 數(shù)據(jù)也不用擔(dān)心：一旦系統(tǒng)宕機或者數(shù)據(jù)丟失，不僅視頻監(jiān)控系統(tǒng)無法工作，苦心存儲的監(jiān)控圖片、視頻也可能付諸東流、恢復(fù)起來更是費時費力，這已經(jīng)成為系統(tǒng)維護人員最擔(dān)心的事情之一。而浪潮AS13000分布式存儲的安全性與可用性讓他們放下了心頭的“巨石”，AS13000采用了副本技術(shù)以及4+2的糾刪冗余，即使在發(fā)生故障的時候，系統(tǒng)也可以持續(xù)提供服務(wù)，并能通過數(shù)據(jù)自動重構(gòu)恢復(fù)出損壞的數(shù)據(jù)，恢復(fù)整系統(tǒng)的數(shù)據(jù)可靠性。此外，解決方案還擁有靈活的多數(shù)據(jù)副本機制、基于機架感知機制以及更強的容災(zāi)能力，能有效應(yīng)對斷電、斷網(wǎng)、磁盤損壞、系統(tǒng)崩潰等單點故障，確保數(shù)據(jù)的安全與高可用性。

　　多副本機制

　　交通執(zhí)法取證速度提升數(shù)倍

　　在改造之后，成都市對于浪潮AS13000的性能非常滿意。成都交通管理部門指出：“浪潮AS13000突出的讀寫與檢索性能讓我們印象深刻，這可以幫助我們將交通執(zhí)法取證的速度提升幾倍，這對于提高交通執(zhí)法效率、降低人員負荷意義突出。而且，浪潮AS13000在可用性、安全性等方面都達到了項目要求。在成都市骨架路網(wǎng)交通流量越來越高的今天，高性能的數(shù)據(jù)存儲系統(tǒng)將幫我們高效的開展執(zhí)法，提高交通保障能力。”

　　在浪潮AS13000的助力下，成都市正在朝構(gòu)建集信息采集、交通管控、信息服務(wù)于一體的智能交通管控系統(tǒng)大步邁進，從而有效疏導(dǎo)交通、緩解城市交通壓力，降低交通違法率和事故率，提高交通運行效率，提升交通管理控制與服務(wù)水平，實現(xiàn)交通管理決策科學(xué)化，為經(jīng)濟社會發(fā)展提供了有力保障。