文/郭輝 天津天地偉業(yè)數(shù)碼科技有限公司
IPC江湖上流傳的視頻編碼標(biāo)準(zhǔn)不下數(shù)十種,每種標(biāo)準(zhǔn)都可以說是廠商與各利益組織競爭、妥協(xié)、合作后的產(chǎn)物。這里我們簡單把它們劃為兩個階段:第一階段可稱為1080P及之前的階段,這個階段可稱之為H.264時(shí)代;第二個階段可稱為后1080P時(shí)代,也包括目前愈演愈烈的4K時(shí)代,不過這個階段的編碼標(biāo)準(zhǔn)可稱之為H.265時(shí)代。
前言
在網(wǎng)絡(luò)高清領(lǐng)域,高清和H.264是一對緊密無間的“小伙伴”,從H.264誕生至今年的這十年間H.264對推動高清IPC的普及立下了汗馬功勞,最終實(shí)現(xiàn)了一統(tǒng)江湖的局面。市面上幾乎所有的IPC都是基于H.264編碼,但是隨著分辨率的提升,大路數(shù)的聯(lián)網(wǎng)以及存儲空間的暴增,讓H.264的壓縮變得越來越難以應(yīng)付。基于這一點(diǎn),H.265在2013年1月被國際電聯(lián)(ITU)通過為下一代高清標(biāo)準(zhǔn),其即通過提供更多不同的工具來降低碼率,在同等帶寬條件下,H.265將H.264的畫質(zhì)提升了50%,為整個安防行業(yè)帶來新的變革。H.264統(tǒng)治了過去的十年,而未來的五年甚至十年,H.265將會成為主流,開啟安防新的時(shí)代。
H.265的誕生
IPC江湖上流傳的視頻編碼標(biāo)準(zhǔn)不下數(shù)十種,每種標(biāo)準(zhǔn)都可以說是廠商與各利益組織競爭、妥協(xié)、合作后的產(chǎn)物。這里我們簡單把它們劃為兩個階段:第一階段可稱為1080P及之前的階段,這個階段可稱之為H.264時(shí)代;第二個階段可稱為后1080P時(shí)代,也包括目前愈演愈烈的4K時(shí)代,不過這個階段的編碼標(biāo)準(zhǔn)可稱之為H.265時(shí)代。
高清編碼標(biāo)準(zhǔn)第一階段: H.264勝出
跟電信聯(lián)盟最終確立了WCDMA、CDMA2000、TD-SCDMA三大3G標(biāo)準(zhǔn)一樣,早前勝出的視頻編碼標(biāo)準(zhǔn)也有三種——MPEG-2、M-JPEG、H.264,其中MPEG-4問世比較早,也是最早實(shí)現(xiàn)硬解的,H.264也叫MPEG-4 AVC,有兩個名字是因?yàn)樵缜八怯蓛蓚€組織命名的,國際電聯(lián)ITUT-T、ISO/IEC國際標(biāo)準(zhǔn)化組織分別給它取了名字。第三種標(biāo)準(zhǔn)M-JPEG是一種無需許可證的標(biāo)準(zhǔn),具有廣泛兼容性,普遍應(yīng)用于諸如需要對視頻序列中每一幀進(jìn)行分析,一般每秒5幀以下低幀速的場合。M-JPEG還可以用來滿足需要集成支持M-JPEG系統(tǒng)的應(yīng)用需求。這三大標(biāo)準(zhǔn)中,MPEG-2出道時(shí)間早,壓縮比小,占用空間大,影響也是最低的。H.264與M-JPEG是720P、1080P高清視頻編碼的兩大主流,這得益與H.264的高壓縮比和低帶寬占用。
高清編碼標(biāo)準(zhǔn)第二階段:H.265橫空出世
第一階段的編碼標(biāo)準(zhǔn)競爭猶如之前的3G標(biāo)準(zhǔn),H.264最終成了3大標(biāo)準(zhǔn)中的WCDMA發(fā)展的最好。后1080P視頻時(shí)代則是到了4G時(shí)代,如LTE一樣在場的玩家所剩無幾,有能力成為新一代標(biāo)準(zhǔn)的只有H.265。 從安防監(jiān)控領(lǐng)域來看,這主要是由于產(chǎn)業(yè)鏈的快速發(fā)展,視頻應(yīng)用的發(fā)展朝著如下幾個方面的趨勢越來越明顯。
更高清晰度(Higher Definition):數(shù)字視頻的應(yīng)用格式從720P向1080P全面升級,隨著分辨率的提升甚至出現(xiàn)了4K×2K、8K×4K的視頻格式;
更高幀率(Higher frame rate):視頻幀率從30fps向60fps、120fps甚至240fps的應(yīng)用場景升級;
更高壓縮率(Higher ComPression rate ):傳輸帶寬和存儲空間一直是視頻應(yīng)用中最為關(guān)鍵的資源,因此,在有限的空間和帶寬中獲得最佳的視頻體驗(yàn)一直是用戶的不懈追求。
由于數(shù)字視頻應(yīng)用在發(fā)展中面臨上述趨勢,如果繼續(xù)采用H.264編碼就出現(xiàn)如下一些局限性:
宏塊個數(shù)的爆發(fā)式增長,會導(dǎo)致用于編碼宏塊的預(yù)測模式、運(yùn)動矢量、參考幀索引和量化級等宏塊級參數(shù)信息所占用的碼字過多,用于編碼殘差部分的碼字明顯減少;
分辨率的大大增加,單個宏塊所表示的圖像內(nèi)容的信息大大減少,這將導(dǎo)致相鄰的4×4或8×8塊變換后的低頻系數(shù)相似程度也大大提高,導(dǎo)致出現(xiàn)大量的冗余;
同一個運(yùn)動的運(yùn)動矢量的幅值也將隨著分辨率的增加而大大增加,H.264中采用一個運(yùn)動矢量預(yù)測值,對運(yùn)動矢量差編碼使用的是哥倫布指數(shù)編碼,該編碼方式的特點(diǎn)是數(shù)值越小使用的比特?cái)?shù)越少。因此,隨著運(yùn)動矢量幅值的大幅增加,H.264中用來對運(yùn)動矢量進(jìn)行預(yù)測以及編碼的方法壓縮率將逐漸降低;
H.264的一些關(guān)鍵算法例如采用CAVLC和CABAC兩種基于上下文的熵編碼方法、deblock濾波等都要求串行編碼,并行度比較低。針對GPU/DSP/FPGA/ASIC等并行化程度非常高的CPU,H.264的這種串行化處理越來越成為制約運(yùn)算性能的瓶頸。
H.265的技術(shù)優(yōu)勢
作為新一代視頻編碼標(biāo)準(zhǔn),H.265相對于H.264在很多方面有了革命性的變化。
靈活的編碼結(jié)構(gòu)
在H.265中,將宏塊的大小從H.264的16×16擴(kuò)展到了64×64,以便于高分辨率視頻的壓縮。同時(shí),采用了更加靈活的編碼結(jié)構(gòu)來提高編碼效率,包括編碼單元(Coding Unit)、預(yù)測單元(Predict Unit)和變換單元(Transform Unit)。其中編碼單元類似于H.264/AVC中的宏塊的概念,用于編碼的過程,預(yù)測單元是進(jìn)行預(yù)測的基本單元,變換單元是進(jìn)行變換和量化的基本單元。這三個單元的分離,使得變換、預(yù)測和編碼各個處理環(huán)節(jié)更加靈活,也有利于各環(huán)節(jié)的劃分更加符合視頻圖像的紋理特征,有利于各個單元更優(yōu)化的完成各自的功能。
靈活的塊結(jié)構(gòu)——RQT(Residual Quad-tree Transform)
RQT是一種自適應(yīng)的變換技術(shù),這種思想是對H.264/AVC中ABT(AdaPtive Block-size Transform)技術(shù)的延伸和擴(kuò)展。對于幀間編碼來說,它允許變換塊的大小根據(jù)運(yùn)動補(bǔ)償塊的大小進(jìn)行自適應(yīng)的調(diào)整;對于幀內(nèi)編碼來說,它允許變換塊的大小根據(jù)幀內(nèi)預(yù)測殘差的特性進(jìn)行自適應(yīng)的調(diào)整。大塊的變換相對于小塊的變換,一方面能夠提供更好的能量集中效果,并能在量化后保存更多的圖像細(xì)節(jié),但是另一方面在量化后卻會帶來更多的振鈴效應(yīng)。因此,根據(jù)當(dāng)前塊信號的特性,自適應(yīng)的選擇變換塊大小,可以得到能量集中、細(xì)節(jié)保留程度以及圖像的振鈴效應(yīng)三者最優(yōu)的折中。
采樣點(diǎn)自適應(yīng)偏移(SamPle AdaPtive Offset)
SAO在編解碼環(huán)路內(nèi),位于Deblock之后,通過對重建圖像的分類,對每一類圖像像素值加減一個偏移,達(dá)到減少失真的目的,從而提高壓縮率,減少碼流。采用SAO后,平均可以減少2%~6%的碼流,而編碼器和解碼器的性能消耗僅僅增加了約2%。
自適應(yīng)環(huán)路濾波(AdaPtive LooP Filter)
ALF在編解碼環(huán)路內(nèi),位于Deblock和SAO之后,用于恢復(fù)重建圖像以達(dá)到重建圖像與原始圖像之間的均方差(MSE)最小。ALF的系數(shù)是在幀級計(jì)算和傳輸?shù)?,可以整幀?yīng)用ALF,也可以對于基于塊或基于量化樹(quadtree)的部分區(qū)域進(jìn)行ALF,如果是基于部分區(qū)域的ALF,還必須傳遞指示區(qū)域信息的附加信息。
并行化設(shè)計(jì)
當(dāng)前芯片架構(gòu)已經(jīng)從單核性能逐漸往多核并行方向發(fā)展,因此為了適應(yīng)并行化程度非常高的芯片實(shí)現(xiàn),HEVC/H265 引入了很多并行運(yùn)算的優(yōu)化思路, 主要包括以下幾個方面:
Tile:用垂直和水平的邊界將圖像劃分為一些行和列,劃分出的矩形區(qū)域?yàn)橐粋€Tile,每一個Tile包含整數(shù)個LCU(Largest Coding Unit), Tile之間可以互相獨(dú)立,以此實(shí)現(xiàn)并行處理;
EntroPy slice:EntroPy Slice允許在一個slice內(nèi)部再切分成多個EntroPy Slices,每個EntroPy Slice可以獨(dú)立的編碼和解碼,從而提高了編解碼器的并行處理能力;
WPP(Wavefront Parallel Processing):上一行的第二個LCU處理完畢,即對當(dāng)前行的第一個LCU的熵編碼(CABAC)概率狀態(tài)參數(shù)進(jìn)行初始化。因此,只需要上一行的第二個LCU編解碼完畢,即可以開始當(dāng)前行的編解碼,以此提高編解碼器的并行處理能力;
H.264中已有特性的改進(jìn):相對于H.264,H.265 標(biāo)準(zhǔn)的算法復(fù)雜性有了大幅提升,以此獲得較好的壓縮性能。H.265 在很多特性上都做了較大的改進(jìn),如表1所示。
H.265對安防影響
談到H.265,那么不得不提的一個公司就是海思半導(dǎo)體。因?yàn)椴还蹾.265效率有多高,編碼能力有多么強(qiáng)大,畢竟到現(xiàn)在都沒有一個SoC芯片能內(nèi)部集成H.265壓縮,直到海思宣布將基于H.265/HEVC標(biāo)準(zhǔn)推出業(yè)界第一顆高清網(wǎng)絡(luò)攝像機(jī)處理器Hi3516A。該處理器采用海思先進(jìn)的H.265/HEVC算法,改善了H.265/HEVC標(biāo)準(zhǔn)固有的圖像振鈴效應(yīng),極大減少了大運(yùn)動場景下的拖尾現(xiàn)象和塊效應(yīng),并在保持與H.264/AVC相同圖像畫質(zhì)下編碼碼流降低50%。同時(shí),Hi3516A靈活的高性能ARM Cortex-A7處理器配合海思第二代智能分析協(xié)處理單元IVE2.0,提供車牌識別、周界防范、人臉識別等多達(dá)40種智能分析應(yīng)用。并且可支持最大從3MP到5MP的高像素視頻圖像輸入,是一顆徹徹底底的高大上的SoC芯片。相信隨著這顆芯片的上市,將催生一大批的H.265設(shè)備生產(chǎn)廠家,而且海思聚集了一批國內(nèi)頂尖的“鐵桿粉絲”包括天地偉業(yè)、海康威視、宇視等幾家作為基線客戶將在展會同步展出H.265的樣機(jī),屆時(shí)大家將實(shí)實(shí)在在感受到新技術(shù)帶來的新格局。而且隨著海思后端NVR芯片Hi3536的推出,那么H.265的整個生態(tài)鏈條將全部打通,從前端采集到后端存儲全部都將實(shí)現(xiàn)一個新的跨越。與H.264/AVC相比,H.265/HEVC的最大本領(lǐng)是可以在維持畫質(zhì)基本不變的前提下,讓數(shù)據(jù)傳輸帶寬縮減至H.264/AVC的一半。同時(shí)其還支持最高為7680×4320的分辨率,因此不管是以后的4K或者是更高級別的超高清視頻,我們同樣可以通過H.265/HEVC格式進(jìn)行編碼,這樣低碼流會帶來更低的存儲空間占用又保證高質(zhì)量的圖像畫質(zhì)??梢灶A(yù)見在不久的將來,基于H.265編碼的IPC和NVR將在安防市場大行其道,成為市場的主角。
結(jié)語
IPC未來的趨勢一定是朝著高分辨率、高幀率、低帶寬占用這三個方向發(fā)展,隨著硬件技術(shù)的發(fā)展在該領(lǐng)域的高清晰度視頻應(yīng)用和發(fā)展的需要,H.265現(xiàn)在可謂是占據(jù)了天時(shí)、地利、人和。首先,在當(dāng)前安防行業(yè)的發(fā)展速度非常迅速,高清晰度、存儲、網(wǎng)絡(luò)傳輸, 使得H.264解碼編碼算法的壓力越來越難以支撐;其次,H.265標(biāo)準(zhǔn)算法的發(fā)展目標(biāo)是提高高清視頻編碼、傳輸、解碼效率,而且隨著4K的普及越來越高的分辨率帶來的海量存儲也是一個必須要解決的問題,而解決這個問題非H.265莫屬。最后隨著海思Hi3516A的落地以及國內(nèi)一線大廠的積極跟進(jìn),H.265畢終竟將會成為主流的視頻壓縮技術(shù),在安防行業(yè)中取代H.264,引領(lǐng)安防發(fā)展進(jìn)入的新的時(shí)代!