數(shù)據(jù)存儲(chǔ)——是指數(shù)據(jù)以某種格式記錄在計(jì)算機(jī)內(nèi)部或外部存儲(chǔ)介質(zhì)上。數(shù)據(jù)存儲(chǔ)要命名,這種命名要反映信息特征的組成含義。
01
首先,學(xué)習(xí)數(shù)據(jù)存儲(chǔ)知識(shí),需要了解數(shù)據(jù)的類型。整體上我們將數(shù)據(jù)類型分為結(jié)構(gòu)化數(shù)據(jù)、半結(jié)構(gòu)化數(shù)據(jù)、非結(jié)構(gòu)化數(shù)據(jù)。
結(jié)構(gòu)化數(shù)據(jù)——能夠用數(shù)據(jù)或統(tǒng)一的結(jié)構(gòu)加以表示,如數(shù)字、文字、符號(hào)。結(jié)構(gòu)化數(shù)據(jù)也稱作行數(shù)據(jù),是由二維表結(jié)構(gòu)來邏輯表達(dá)和實(shí)現(xiàn)的數(shù)據(jù),嚴(yán)格地遵循數(shù)據(jù)格式與長(zhǎng)度規(guī)范,主要通過關(guān)系型數(shù)據(jù)庫(kù)進(jìn)行存儲(chǔ)和管理。
半結(jié)構(gòu)化數(shù)據(jù)——是介于完全結(jié)構(gòu)化數(shù)據(jù)(如關(guān)系型數(shù)據(jù)庫(kù)、面向?qū)ο髷?shù)據(jù)庫(kù)中的數(shù)據(jù))和完全無結(jié)構(gòu)的數(shù)據(jù)(如聲音、圖像文件等)之間的數(shù)據(jù),XML、HTML文檔就屬于半結(jié)構(gòu)化數(shù)據(jù)。它一般是自描述的,數(shù)據(jù)的結(jié)構(gòu)和內(nèi)容混在一起,沒有明顯的區(qū)分。
非結(jié)構(gòu)化數(shù)據(jù)——非結(jié)構(gòu)化數(shù)據(jù)是數(shù)據(jù)結(jié)構(gòu)不規(guī)則或不完整,沒有預(yù)定義的數(shù)據(jù)模型,不方便用數(shù)據(jù)庫(kù)二維邏輯表來表現(xiàn)的數(shù)據(jù)。包括圖像和音頻/視頻信息等等。丟失的視頻數(shù)據(jù)就屬于非結(jié)構(gòu)化數(shù)據(jù)。
02
知道了這些數(shù)據(jù)結(jié)構(gòu),英方災(zāi)備覺得先要知道如何存儲(chǔ)這些數(shù)據(jù),就像我們要裝水,需要裝水的工具。對(duì)此,我們提到數(shù)據(jù)的存儲(chǔ)介質(zhì)。
數(shù)據(jù)的存儲(chǔ)介質(zhì)是指存儲(chǔ)數(shù)據(jù)的載體。比如軟盤、光盤、DVD、磁帶、硬盤、閃存、U盤、CF卡、SD卡、MMC卡、SM卡、記憶棒(MemoryStick)、xD卡等。
對(duì)于企業(yè)級(jí)存儲(chǔ)市場(chǎng),一般的數(shù)據(jù)存儲(chǔ)介質(zhì)是磁帶與硬盤。
磁帶曾經(jīng)風(fēng)靡八十年代,但是隨著技術(shù)的進(jìn)步和社會(huì)發(fā)展的需求,現(xiàn)在基本采用硬盤存儲(chǔ)數(shù)據(jù),一些長(zhǎng)期存儲(chǔ)的歷史數(shù)據(jù)/冷數(shù)據(jù)才會(huì)用到磁帶(庫(kù))進(jìn)行存儲(chǔ)。
硬盤又分三大種類:SSD、HHD、HDD
SSD——固態(tài)硬盤,用固態(tài)電子存儲(chǔ)芯片陣列而制成的硬盤,由控制單元和存儲(chǔ)單元(FLASH芯片、DRAM芯片)組成。固態(tài)硬盤在接口的規(guī)范和定義、功能及使用方法上與普通硬盤的完全相同,在產(chǎn)品外形和尺寸上也完全與普通硬盤一致。被廣泛應(yīng)用于軍事、車載、工控、視頻監(jiān)控、網(wǎng)絡(luò)監(jiān)控、網(wǎng)絡(luò)終端、電力、醫(yī)療、航空、導(dǎo)航設(shè)備等領(lǐng)域。
HHD——混合硬盤,既包含傳統(tǒng)硬盤又有閃存模塊的大容量存儲(chǔ)設(shè)備。閃存處理存儲(chǔ)中寫入或恢復(fù)最頻繁的數(shù)據(jù)。很多公司開始提供這項(xiàng)技術(shù)的變體,他們期望它會(huì)在高端系統(tǒng)中受到追捧,尤其是在筆記本電腦和個(gè)人數(shù)字助理中。
HDD——傳統(tǒng)硬盤,即硬盤驅(qū)動(dòng)器。最基本的電腦存儲(chǔ)器,我們電腦中常說的電腦C/D盤。目前硬盤一般常見的磁盤容量為80G——1TB、2TB等;硬盤按體積大小可分為3.5寸、2.5寸、1.8寸等;按轉(zhuǎn)數(shù)可分為5400rpm/7200rpm/10000rpm等。噪音大,怕摔,強(qiáng)制斷電易燒盤是HDD缺點(diǎn)。
簡(jiǎn)單地說,SSD采用閃存顆粒來存儲(chǔ),HDD采用磁性碟片來存儲(chǔ),HHD是把磁性硬盤和閃存集成到一起的一種硬盤。
其中,根據(jù)硬盤接口不同,又可分為IDE、SATA、SCSI和光纖通道四種,IDE接口硬盤多用于家用產(chǎn)品中,也部分應(yīng)用于服務(wù)器,SCSI接口的硬盤則主要應(yīng)用于服務(wù)器市場(chǎng),光纖通道只在高端服務(wù)器上。
03
普通的企業(yè)級(jí)視頻監(jiān)控,一般采用傳統(tǒng)的HDD硬盤進(jìn)行視頻錄像的存儲(chǔ),所以噪音大、怕摔、易燒不可避免。根據(jù)企業(yè)級(jí)監(jiān)控存儲(chǔ)方式的發(fā)展規(guī)律,我們又可以分為:VCR→ DVR→NVR→CVR。
VCR——模擬式磁帶錄放機(jī),使用空白錄像帶并加載錄像機(jī)進(jìn)行影像的錄制及存儲(chǔ)的監(jiān)控系統(tǒng)設(shè)備。VCR 信號(hào)易受外界燥聲干擾,每次的錄像與播放后均會(huì)有些品質(zhì)損失。且磁帶不易保存,是最大的缺點(diǎn)。
DVR——模擬機(jī)和同軸纜信號(hào)的硬盤錄像機(jī),不需要配置IP,它是一種使用數(shù)字方式進(jìn)行影像的錄制及存儲(chǔ)的監(jiān)控系統(tǒng)設(shè)備;功能齊全,影像錄制效果好、畫面清晰,并可重復(fù)多次錄制,能對(duì)存放影像進(jìn)行回放檢索。DVR布線比較繁瑣,要視頻線、音頻線等。
NVR——網(wǎng)絡(luò)型錄像機(jī),必須配置IP,布線簡(jiǎn)單,一條網(wǎng)線基本解決。主要的功能是通過網(wǎng)絡(luò)接收IPC(網(wǎng)絡(luò)攝像機(jī))設(shè)備傳輸?shù)臄?shù)字視頻碼流, 并進(jìn)行存儲(chǔ)、管理,從而實(shí)現(xiàn)網(wǎng)絡(luò)化帶來的分布式架構(gòu)優(yōu)勢(shì)??梢酝瑫r(shí)觀看、瀏覽、回放、管理、存儲(chǔ)多個(gè)網(wǎng)絡(luò)攝像機(jī)的視頻數(shù)據(jù)。
NVR——DVR的終結(jié)者
CVR——視頻云存儲(chǔ),是集編碼設(shè)備管理、錄像管理、存儲(chǔ)、轉(zhuǎn)發(fā)功能為一體的視頻專用存儲(chǔ)技術(shù)。CVR由標(biāo)準(zhǔn)的IPSAN/NAS網(wǎng)絡(luò)存儲(chǔ)設(shè)備結(jié)合視頻監(jiān)控應(yīng)用發(fā)展而來,是一種融合了專業(yè)存儲(chǔ)技術(shù)與專業(yè)安防視頻監(jiān)控應(yīng)用技術(shù)的產(chǎn)品。
CVR是更高級(jí)的NVR或者DVR,或者是數(shù)據(jù)集中存貯的NVR。
04
學(xué)到了存儲(chǔ)介質(zhì)的知識(shí),英方災(zāi)備下一步要介紹的就是數(shù)據(jù)存儲(chǔ)的方式。常見的四種存儲(chǔ)方式:DAS、NAS、SAN、OBS。
DAS——直接附加存儲(chǔ),外部存儲(chǔ)設(shè)備都是直接掛接在服務(wù)器內(nèi)部總線上,數(shù)據(jù)存儲(chǔ)設(shè)備是整個(gè)服務(wù)器結(jié)構(gòu)的一部分,與家用電腦的構(gòu)造一樣。
NAS——網(wǎng)絡(luò)附加存儲(chǔ),采用獨(dú)立于服務(wù)器,單獨(dú)為網(wǎng)絡(luò)數(shù)據(jù)存儲(chǔ)而開發(fā)的一種文件服務(wù)器來連接所存儲(chǔ)設(shè)備,自形成一個(gè)網(wǎng)絡(luò)。這樣數(shù)據(jù)存儲(chǔ)就不再是服務(wù)器的附屬,而是作為獨(dú)立網(wǎng)絡(luò)節(jié)點(diǎn)而存在于網(wǎng)絡(luò)之中,可由所有的網(wǎng)絡(luò)用戶共享。
SAN——存儲(chǔ)區(qū)域網(wǎng)絡(luò),與NAS架構(gòu)類似,只是基于光纖介質(zhì),傳輸速率以光纖網(wǎng)絡(luò)速度的服務(wù)器訪問存儲(chǔ)器的一種連接方式。1991年由IBM公司建成。
DAS存儲(chǔ)一般應(yīng)用在中小企業(yè),與計(jì)算機(jī)采用直連方式;NAS存儲(chǔ)則通過以太網(wǎng)添加到計(jì)算機(jī)上;SAN存儲(chǔ)則使用FC接口,提供性能更加的存儲(chǔ)。
OBS——對(duì)象存儲(chǔ)系統(tǒng),綜合了NAS和SAN的優(yōu)點(diǎn),同時(shí)具有SAN的高速直接訪問和NAS的數(shù)據(jù)共享等優(yōu)勢(shì),提供了高可靠性、跨平臺(tái)性以及安全的數(shù)據(jù)共享的存儲(chǔ)體系結(jié)構(gòu)。對(duì)象存儲(chǔ)被看作是塊存儲(chǔ)、文件存儲(chǔ)之后,一種更適合互聯(lián)網(wǎng)應(yīng)用環(huán)節(jié)的存儲(chǔ)方式。
存儲(chǔ)方式的不同,是不同時(shí)代不同應(yīng)用場(chǎng)景的存儲(chǔ)產(chǎn)物,各有優(yōu)缺點(diǎn),每家存儲(chǔ)廠商的方案也百花齊放百家爭(zhēng)鳴,比如云計(jì)算對(duì)象存儲(chǔ),每家的命名和架構(gòu)都有差異。
05
學(xué)到了這,我們應(yīng)該明白存儲(chǔ)是門技術(shù)活,特別是大型存儲(chǔ)項(xiàng)目,需要的集成系統(tǒng)更加復(fù)雜。在此,介紹一些比較專業(yè)的大型存儲(chǔ)系統(tǒng)。
集中存儲(chǔ)系統(tǒng)——采用集中的存儲(chǔ)服務(wù)器存放所有數(shù)據(jù)。存儲(chǔ)服務(wù)器成為系統(tǒng)性能的瓶頸,也是可靠性和安全性的焦點(diǎn),不能滿足大規(guī)模存儲(chǔ)應(yīng)用的需要。
分布式存儲(chǔ)系統(tǒng)——將數(shù)據(jù)分散存儲(chǔ)在多臺(tái)獨(dú)立的設(shè)備上,采用分布式可擴(kuò)展的系統(tǒng)架構(gòu),利用多臺(tái)存儲(chǔ)服務(wù)器分擔(dān)系統(tǒng)負(fù)荷。它不但提高了系統(tǒng)的可靠性、可用性和性能,還易于在線靈活擴(kuò)展。
全閃存陣列——完全由固態(tài)存儲(chǔ)介質(zhì)(通常是NAND閃存)構(gòu)成的獨(dú)立的存儲(chǔ)陣列或設(shè)備,這些系統(tǒng)是用于增強(qiáng)可能包含磁盤陣列的環(huán)境的性能,或者用于取代所有傳統(tǒng)的硬盤存儲(chǔ)陣列。
06
學(xué)到這,英方災(zāi)備要告訴你的是現(xiàn)在的存儲(chǔ)趨勢(shì)之一是軟件定義存儲(chǔ)(SDS)。
SDS是一種數(shù)據(jù)存儲(chǔ)方式,所有存儲(chǔ)相關(guān)的控制工作都僅在相對(duì)于物理存儲(chǔ)硬件的外部軟件中。這個(gè)軟件不是作為存儲(chǔ)設(shè)備中的固件,而是在一個(gè)服務(wù)器上或者作為操作系統(tǒng)(OS)或hypervisor的一部分。
軟件定義存儲(chǔ)與軟件定義網(wǎng)絡(luò)(SDN)和軟件定義數(shù)據(jù)中心(SDDC),被認(rèn)為是IT行業(yè)的發(fā)展趨勢(shì)。使用軟件定義存儲(chǔ)進(jìn)行長(zhǎng)期存儲(chǔ)充滿了諸多風(fēng)險(xiǎn),例如數(shù)據(jù)位錯(cuò)誤、硬盤故障、網(wǎng)絡(luò)攻擊、人為失誤以及自然災(zāi)害等等。
07
因此,再安全可靠的存儲(chǔ)介質(zhì)和存儲(chǔ)方式,都不能保證存儲(chǔ)數(shù)據(jù)的100%,對(duì)關(guān)鍵數(shù)據(jù)進(jìn)行容災(zāi)備份被認(rèn)為是企業(yè)信息安全的最后一道防線。所以,雙活容災(zāi)又被提出來。
雙活容災(zāi)——災(zāi)備系統(tǒng)中使主生產(chǎn)端數(shù)據(jù)庫(kù)和備機(jī)端數(shù)據(jù)庫(kù)同時(shí)在線運(yùn)行,處于可讀可查詢的狀態(tài)的技術(shù),確保企業(yè)在一定范圍內(nèi)的業(yè)務(wù)連續(xù)性和數(shù)據(jù)安全。
高可用災(zāi)備系統(tǒng)常有的幾種工作方式:第一種是:共享存儲(chǔ)(磁盤陣列)的方式;第二種是雙機(jī)雙存儲(chǔ),也叫全冗余方式;第三種是利用數(shù)據(jù)的同步方式,通常我們稱為mirror方式,包括基于文件級(jí)的復(fù)制功能、基于數(shù)據(jù)庫(kù)內(nèi)部機(jī)制、基于數(shù)據(jù)攔截技術(shù)。
但是,由于雙活容災(zāi)的存儲(chǔ)設(shè)備往往存放在同一個(gè)機(jī)房,所以發(fā)生火災(zāi)、水災(zāi)、人為破壞等風(fēng)險(xiǎn)依然存在。為此,異地容災(zāi)又被提了出來。
08
異地容災(zāi)包括數(shù)據(jù)級(jí)容災(zāi)和應(yīng)用級(jí)容災(zāi),數(shù)據(jù)級(jí)容災(zāi)是對(duì)數(shù)據(jù)在異地的復(fù)制備份等,應(yīng)用級(jí)容災(zāi)則強(qiáng)調(diào)核心業(yè)務(wù)應(yīng)用的接管,即當(dāng)生產(chǎn)機(jī)房發(fā)生故障停止工作時(shí),備用機(jī)房能夠馬上接管業(yè)務(wù)繼續(xù)對(duì)外提供服務(wù)。
有了異地容災(zāi),一定程度上確保用戶數(shù)據(jù)不丟,業(yè)務(wù)不停,大家就再也不怕硬盤壞了。