摘要：針對(duì)全新編解碼技術(shù)H.265，研究并實(shí)現(xiàn)了基于Android平臺(tái)的視頻質(zhì)量評(píng)估軟件開(kāi)發(fā)。首先通過(guò)分析H.265編解碼標(biāo)準(zhǔn)的特點(diǎn)和VLC多媒體播放器的解碼方式，獲取了VLC播放器解碼后的YUV數(shù)據(jù)。再針對(duì)YUV數(shù)據(jù)進(jìn)行了分辨率、幀率、清晰度、亮度、色度等五個(gè)方面的評(píng)估分析，并結(jié)合主觀分析對(duì)該五項(xiàng)建立了合理的視頻評(píng)分體系。最后基于簡(jiǎn)潔明了的UI界面設(shè)計(jì)，為用戶清晰地展示了評(píng)分結(jié)果。

　　引言

　　隨著H.265視頻壓縮標(biāo)準(zhǔn)的出現(xiàn)，其壓縮效率與錯(cuò)誤恢復(fù)能力的提高，以及實(shí)時(shí)的時(shí)延和信道獲取時(shí)間的減少等特點(diǎn)，為互聯(lián)網(wǎng)高清視頻帶來(lái)了巨大變化。同時(shí)4G網(wǎng)絡(luò)的逐漸覆蓋使得移動(dòng)客戶端上的視頻載入率日漸提高，因此流媒體視頻評(píng)測(cè)軟件的開(kāi)發(fā)具有意義重大。

　　本文基于如今用戶群最大的Android平臺(tái)實(shí)現(xiàn)流媒體視頻評(píng)測(cè)軟件的開(kāi)發(fā)，軟件主要從分辨率和幀率兩方面來(lái)測(cè)評(píng)視頻流暢度，同時(shí)從視頻質(zhì)量的亮度、色度和清晰度三個(gè)方面來(lái)評(píng)估視頻畫(huà)質(zhì)，并將評(píng)估結(jié)果以分?jǐn)?shù)的形式直觀呈現(xiàn)于手機(jī)上。此結(jié)果方便用戶選擇視頻質(zhì)量更好的流媒體，同時(shí)也方便運(yùn)營(yíng)商針對(duì)視頻存在的問(wèn)題進(jìn)行測(cè)評(píng)維修，這將推動(dòng)整個(gè)流媒體服務(wù)器的發(fā)展。

　　1 技術(shù)平臺(tái)介紹

　　1.1 H.265發(fā)展優(yōu)勢(shì)

　　H.265標(biāo)準(zhǔn)圍繞著現(xiàn)有的視頻編碼標(biāo)準(zhǔn)H.264，保留原來(lái)的某些技術(shù)，同時(shí)對(duì)一些相關(guān)的技術(shù)加以改進(jìn)。新技術(shù)使用先進(jìn)的技術(shù)用以改善碼流、編碼質(zhì)量、延時(shí)和算法復(fù)雜度之間的關(guān)系，達(dá)到最優(yōu)化設(shè)置。具體的研究?jī)?nèi)容包括：提高壓縮效率、提高魯棒性和錯(cuò)誤恢復(fù)能力、減少實(shí)時(shí)的時(shí)延、減少信道獲取時(shí)間和隨機(jī)接入時(shí)延、降低復(fù)雜度等[1]。

　　H.265的技術(shù)亮點(diǎn)包括以下幾點(diǎn)：第一，靈活的編碼結(jié)構(gòu)，在H.265中將宏塊的大小從H.264的16×16擴(kuò)展到了64×64，以便于高分辨率視頻的壓縮。同時(shí)，采用了更加靈活的編碼結(jié)構(gòu)來(lái)提高編碼效率，包括編碼單元、預(yù)測(cè)單元和變換單元;第二，使用新的MV(運(yùn)動(dòng)矢量)預(yù)測(cè)方式，區(qū)別于H.264基于空間域的運(yùn)動(dòng)矢量預(yù)測(cè)方式，H.265擴(kuò)充更加多的方向進(jìn)行幀內(nèi)預(yù)測(cè)，同時(shí)將預(yù)測(cè)塊的集合由原來(lái)的空間域擴(kuò)展到時(shí)間域及空時(shí)混合域，通過(guò)率失真準(zhǔn)則計(jì)算后選擇最佳的預(yù)測(cè)塊;第三，更低的碼流，多項(xiàng)質(zhì)量比較測(cè)試已經(jīng)表明，在相同的圖像質(zhì)量下，相比于H.264，通過(guò)H.265編碼的視頻碼流大小比H.264減少大約39%-44%。通過(guò)主觀視覺(jué)測(cè)試得出的數(shù)據(jù)顯示，在碼率減少51%-74%的情況下，H.265編碼視頻的質(zhì)量還能與H.264編碼視頻近似甚至更好，其本質(zhì)上說(shuō)是比預(yù)期的信噪比(PSNR)要好。

　　1.2 Android平臺(tái)開(kāi)發(fā)的優(yōu)越性

　　廣泛使用性：Android軟件擁有廣泛且穩(wěn)定的使用人群。

　　開(kāi)放性：Android具有開(kāi)源系統(tǒng)可供用戶自行設(shè)計(jì)更改。

　　豐富的硬件選擇：從性能一般的低端機(jī)到高配置的高端機(jī)一應(yīng)俱全，可滿足不同階層用戶的不同需求。

　　不受限制的軟件開(kāi)發(fā)：Android平臺(tái)開(kāi)發(fā)周期短，應(yīng)用的發(fā)布簡(jiǎn)單，只需要通過(guò)Eclipse引導(dǎo)簽署開(kāi)發(fā)出的應(yīng)用，開(kāi)發(fā)者即擁有一個(gè)可以在任何Android平臺(tái)運(yùn)行的APK文件。將這個(gè)APK文件發(fā)布到各種平臺(tái)上進(jìn)行推廣，用戶安裝即可使用。如果應(yīng)用在使用中出現(xiàn)了問(wèn)題，出現(xiàn)代碼錯(cuò)誤，開(kāi)發(fā)者也能立刻上傳修復(fù)的版本供用戶下載。

　　1.3 方案總述

　　選擇Android平臺(tái)上基于H.265進(jìn)行視頻測(cè)評(píng)。具體方案流程圖如圖1所示。

　　首先利用VLC流媒體播放器接收流媒體數(shù)據(jù)流，再在 Linux環(huán)境下使用 Android NDK 將 HM10.0的解碼庫(kù)進(jìn)行移植，與VLC各模塊共同封裝成SO庫(kù)移植到 Android 平臺(tái)上，再通過(guò)JNI本地調(diào)用的方式在 Java 層調(diào)用來(lái)完成對(duì)HEVC 碼流的解析。在播放視頻的第三階段通過(guò)C語(yǔ)言來(lái)編寫(xiě)解碼模塊，由之解出的碼流分為兩路，其中一路按照正常播放流程由播放器輸出以實(shí)現(xiàn)正常播放的功能。另外一路則先導(dǎo)出至sdcard中，當(dāng)視頻播放結(jié)束后重新讀入YUV數(shù)據(jù)并利用Opencv設(shè)計(jì)算法進(jìn)行分析，最終結(jié)果以txt文本的形式存儲(chǔ)至sdcard中。

　　2 視頻流暢度測(cè)評(píng)

　　2.1 分辨率測(cè)評(píng)

　　2.1.1 分辨率簡(jiǎn)介

　　視頻分辨率指視頻的高/寬像素值，用來(lái)度量圖像內(nèi)數(shù)據(jù)量。通常將分辨率表示成ppi(每英寸像素Pixel per inch)，一般說(shuō)的分辨率指圖像的高/寬像素值，嚴(yán)格意義上的分辨率是指單位長(zhǎng)度內(nèi)的有效像素值ppi。如圖2所示，分別是分辨率為72ppi和300ppi的圖像示例。

　　2.1.2 分辨率算法

　　本測(cè)評(píng)軟件采用一般定義，即視頻的高/寬像素值。

　　(1)首先利用Android自帶功能遍歷手機(jī)SD卡中的所有視頻，為視頻測(cè)評(píng)做準(zhǔn)備。

　　(2)通過(guò)搜索視頻媒體自帶的信息，獲取手機(jī)視頻的分辨率，并且根據(jù)獲取的分辨率為視頻評(píng)分。

　　(3)依據(jù)手機(jī)分辨率的屏幕參數(shù)，我們選取480×270作為標(biāo)定值。高于此值，則分辨率這一項(xiàng)為滿分;反之，則為零分。

　　2.2 幀率

　　2.2.1 幀率簡(jiǎn)介

　　幀率是用來(lái)測(cè)量顯示幀數(shù)的量度，單位一般為fps(frames per second)，表示圖形處理去處理場(chǎng)景時(shí)每秒鐘能夠更新的次數(shù)。高的幀率可以得到更流暢、更逼真的動(dòng)畫(huà)。根據(jù)人眼的特殊生理結(jié)構(gòu)，如果所看畫(huà)面幀率高于16fps，則會(huì)認(rèn)為畫(huà)面連續(xù)。然而當(dāng)幀率超過(guò)屏幕刷新率時(shí)，只會(huì)浪費(fèi)圖像處理能力。一般最合適的人眼接受幀率為25fps。

　　同時(shí)，幀率影響畫(huà)面流暢度，與畫(huà)面流暢度成正比。幀率越大，畫(huà)面越流暢;幀率越小，畫(huà)面越有跳動(dòng)感。

　　2.2.2 幀率評(píng)分標(biāo)定

　　本項(xiàng)目采用一邊播放視頻一邊導(dǎo)出視頻轉(zhuǎn)換成YUV文件形式，再利用YUV文件的大小以及每一幀圖像的分辨率大小，計(jì)算出一段視頻的平均幀率。由于采用的是YUV420的形式，所以每一幀圖像的大小為length*width*1.5 bit，由此得出平均幀率計(jì)算公式如下：

　　幀率 = 一段時(shí)間內(nèi)YUV文件大小/length*width*1.5 bit*時(shí)間 (1)

　　具體實(shí)現(xiàn)函數(shù)如下：

　　(fram/(mVideoHeight*mVideoWidth*1.5*times))

　　由于人眼最適合的幀率為25fps，本文選取幀率大于20fps為流暢，即為滿分;選取小于5fps的幀率為不合格，即為零分。具體評(píng)分準(zhǔn)則如表1。

　　3 視頻畫(huà)質(zhì)測(cè)評(píng)

　　3.1 清晰度

　　3.1.1 清晰度研究背景

　　隨著各類數(shù)字成像技術(shù)的飛速發(fā)展，數(shù)字圖像的清晰度日益成為衡量數(shù)字成像系統(tǒng)優(yōu)劣的重要指標(biāo)。一幅數(shù)字圖像質(zhì)量的好壞與其清晰度直接相關(guān)，清晰度也指模糊度或粗糙度，是指人眼能感覺(jué)出的相鄰影像間的明顯程度[2]。導(dǎo)致圖像清晰度下降的原因是圖像模糊，在圖像采集、傳輸、壓縮等處理過(guò)程中都有可能產(chǎn)生模糊。

　　目前，對(duì)數(shù)字圖像清晰度的評(píng)價(jià)方法主要有空域參數(shù)方差、熵、以及頻域調(diào)制傳遞函數(shù)等，但由于這些方法各有優(yōu)缺點(diǎn)，如空域參數(shù)雖評(píng)價(jià)簡(jiǎn)潔、快速，但對(duì)圖像清晰度的細(xì)小變化不敏感;頻域參數(shù)雖對(duì)圖像清晰度變化敏感，但計(jì)算較慢，不依程序運(yùn)算的自動(dòng)化[3 。

　　本項(xiàng)目通過(guò)對(duì)圖像進(jìn)行邊緣提取，計(jì)算其梯度數(shù)據(jù)，建立清晰度評(píng)判標(biāo)準(zhǔn)，從而進(jìn)行單幀圖像的清晰度判定。

　　3.1.2 圖像邊緣特征

　　圖像邊緣是指其周圍像素灰度有階躍性變化或屋頂型變化的像素的集合，是圖像最基本的特征之一，可以反映目標(biāo)的清晰度[4]。

　　一條理想的邊緣具有如圖3所示(a)模型的特征，這個(gè)模型生成的理想邊緣是一組相連像素的集合，每個(gè)像素都處在灰度級(jí)躍變的一個(gè)垂直臺(tái)階上。實(shí)際系統(tǒng)中，由于各種原因?qū)е聢D像模糊后，實(shí)際邊緣如3所示，(b)是一個(gè)過(guò)度的斜面。

　　從人眼視覺(jué)特性上，觀測(cè)目標(biāo)是否清晰，關(guān)鍵在于目標(biāo)與背景的邊緣上，如果邊緣銳利，圖像就比較清晰;如果邊緣過(guò)渡平緩，圖像就模糊。

　　3.1.3 清晰度算法

　　(1)先將圖片轉(zhuǎn)換為灰度圖，并申明為IplImage對(duì)象。核心代碼如下：

　　cvtColor(Input,gray,CV_BGR2GRAY);

　　IplImage tmp_image= IplImage(gray);

　　IplImage *img = &tmp_image;

　　(2)求梯度

　　公式及算法思路：

　　令：平均梯度為X，位寬為s，總梯度為Y，總像素點(diǎn)為N。

　　則：

　　(2)

　　(3)

　　(3)分析數(shù)據(jù)可知，過(guò)渡區(qū)上的最大梯度值，與圖像的清晰度呈正比關(guān)系。并且，梯度的陡峭程度與清晰度呈正比關(guān)系[5]。

　　(4)清晰度評(píng)價(jià)算法

　　第一，為達(dá)到客觀的評(píng)判，避免誤判視頻本身的模糊需求，在開(kāi)始評(píng)測(cè)之前會(huì)進(jìn)行主觀失焦評(píng)斷。結(jié)合人的主觀評(píng)斷和標(biāo)準(zhǔn)視頻流的清晰度標(biāo)準(zhǔn)來(lái)刻畫(huà)，這樣的評(píng)斷更客觀公正。具體實(shí)現(xiàn)界面如圖4。

　　第二，結(jié)合是否主動(dòng)失焦以及標(biāo)準(zhǔn)流的判斷確定滿分標(biāo)準(zhǔn)，之后進(jìn)行歸一化處理。處理后最終的評(píng)判標(biāo)準(zhǔn)如表2。

　　3.2 亮度

　　3.2.1 亮度簡(jiǎn)介

　　亮度是指發(fā)光體(反光體)表面發(fā)光(反光)強(qiáng)弱的物理量，是人對(duì)光的強(qiáng)度的感受。我們認(rèn)為的亮度參數(shù)都是指白色的參數(shù)，然而想要更好地體現(xiàn)視頻的亮度，就不能只用白色的參數(shù)來(lái)表示亮度，故而引入了色彩亮度的概念。

　　3.2.2 亮度評(píng)分算法

　　(1)將每一幀的圖片灰度化，并以mat矩陣存儲(chǔ)以方便刻畫(huà)行列，統(tǒng)計(jì)圖片中每個(gè)亮度值出現(xiàn)的個(gè)數(shù)，求出平均亮度。根據(jù)前期的主觀評(píng)測(cè)，選定動(dòng)態(tài)閾值作為平均比較值。

　　(2)將每一個(gè)像素點(diǎn)的值與動(dòng)態(tài)閾值作方差，計(jì)算出來(lái)的值即可在一定程度上表示圖片的平均亮度。

　　令動(dòng)態(tài)閾值為

　　核心代碼如下：

　　for(int i=0;i<256;i++)

　　{

　　Ma+=abs(i-128-dac)*Hist[i]; }

　　Ma/=float((GRAYimg.rows*GRAYimg.cols));//

　　float M=abs(Ma);

　　float K=D/M;//正常時(shí)這個(gè)值是小于1的

　　avr = K;

　　}

　　(3)最終亮度評(píng)斷標(biāo)準(zhǔn)如表3所示。

　　3.3 色度

　　3.3.1 色度簡(jiǎn)介

　　色度的測(cè)量是對(duì)顏色的一種客觀評(píng)價(jià)，將色度這種度量最終以值的形式表示，有常見(jiàn)的幾種表現(xiàn)模型：CIE、RGB等。

　　在顏色感知的研究中，CIE 1931 XYZ色彩空間是其中一個(gè)最先采用數(shù)學(xué)方式來(lái)定義的色彩空間。其中，色彩空間指的是用一種客觀的方式敘述顏色在人眼上的感覺(jué)，通常需要三色刺激值，即首先定義三種主要顏色，再利用顏色疊加模型來(lái)敘述各種顏色。CIE 1931色彩空間通常用XYZ三個(gè)值來(lái)表示三色刺激值[6]。

　　CIE XYZ和CIE RGB可以相互轉(zhuǎn)換，具體轉(zhuǎn)換方式如下：

　　轉(zhuǎn)換按照等能白點(diǎn)轉(zhuǎn)換，即有約束：RGB(0.333,0.333,0.333)對(duì)應(yīng)XYZ(0.333,0.333,0.333)。

　　3.3.2 色度評(píng)分算法

　　(1)調(diào)用以下Opencv函數(shù)將RGB按照以上公式轉(zhuǎn)換成CIE形式。

　　cvtColor(Input,LABimg,CV_BGR2Lab)

　　(2)同樣調(diào)用Opencv里函數(shù)，得到a、b的值。其中a表示圖像的紅綠分量，b表示黃藍(lán)分量，根據(jù)這兩個(gè)分量可以判斷出圖像的色偏，為評(píng)分做準(zhǔn)備。核心代碼如下：

　　dac=a/float(LABimg.rows*LABimg.cols);//a*表示圖像紅/綠分量,計(jì)算紅綠分量的平均值

　　dbc=b/float(LABimg.rows*LABimg.cols);//b*表示圖像黃/藍(lán)分量,計(jì)算黃藍(lán)分量的平均值

　　(3)最終利用a、b的值計(jì)算出L，根據(jù)L的大小來(lái)對(duì)色度進(jìn)行評(píng)分。L的計(jì)算方式如下：

　　float D =sqrt(dac*dac+dbc*dbc);

　　Ma/=float((LABimg.rows*LABimg.cols));

　　Mb/=float((LABimg.rows*LABimg.cols));

　　float M=sqrt(Ma*Ma+Mb*Mb);

　　float K=D/M;

　　avr = K;

　　(4)通過(guò)rda，rdb得出整體色彩偏向，然后根據(jù)L得出最后得分如表4所示。

　　4 結(jié)語(yǔ)

　　本文在Android移動(dòng)平臺(tái)上基于H.265視頻標(biāo)準(zhǔn)，開(kāi)發(fā)了安卓手機(jī)本地視頻質(zhì)量評(píng)測(cè)軟件。該測(cè)評(píng)軟件從視頻流暢度和視頻畫(huà)質(zhì)兩個(gè)方面對(duì)視頻質(zhì)量做出了測(cè)評(píng)，其中視頻流暢度包括視頻分辨率和幀率兩個(gè)部分，視頻畫(huà)質(zhì)測(cè)評(píng)包括視頻清晰度、亮度和色度等三個(gè)部分。本文還分析了視頻測(cè)評(píng)體系建立過(guò)程，并闡述了五項(xiàng)評(píng)分的核心算法。本文還通過(guò)設(shè)計(jì)開(kāi)發(fā)一個(gè)Android移動(dòng)平臺(tái)軟件，方便用戶選擇視頻質(zhì)量更好的流媒體，同時(shí)也利于運(yùn)營(yíng)商針對(duì)視頻存在的問(wèn)題進(jìn)行測(cè)評(píng)維修。這推動(dòng)了整個(gè)流媒體服務(wù)器的發(fā)展，并且推廣了新一代視頻編解碼技術(shù)H.265。

　　參考文獻(xiàn)：

　　[1]Ting-Yu Huang,Guo-An Jian,Jui-Chin Chu,Joint Algorithm/Code-Level Optimization of H.264 Video Decoder For Mobile MultiMedia Applications[J], Acoustics, Speech and Signal Processing,pp.2189- 2192.March 2008

　　[2]范媛媛，沈湘衡，桑英軍.基于對(duì)比度敏感度的無(wú)參考圖像清晰度評(píng)價(jià)[J].光學(xué)精密儀器, 2011, 19(10): 2485-2493

　　[3]王鴻南，鐘文，汪靜，等. 圖像清晰度評(píng)價(jià)方法研究[J]. 中國(guó)圖像圖形學(xué)報(bào), 2004, 9(7): 828-831

　　[4]楊斯涵. 基于邊緣特征的單幀圖像清晰度判定[J]. 計(jì)算機(jī)工程與應(yīng)用, 2009, 45(30): 198-203

　　[5]李奇，馮華君，徐之海，等. 數(shù)字圖像清晰度評(píng)價(jià)函數(shù)研究[J]. 光子學(xué)報(bào)，2002,31(6):736-738

　　[6]ATIS Teehnical Report T1.TR.PP.74. Objective video quality measurement using a Peak-Signal-to-Noise-Ratio(PSNR) full reference technique.2004