變得更復雜以及上市周期的變短,質量保證(QA)和質量控制(QC)測試人員要在更短的時間內測試更多的功能。通常測試人員而只是雜亂地測試一些基本功能。視頻質量測試結果到底怎么樣？你是否知道你的系統(tǒng)存在一些性能缺陷和失真？
設計和制造過程中的視頻質量測試
隨著數(shù)字電視(DTV)的出現(xiàn),視頻處理有了巨大的改變。幾乎所有的視頻被壓縮,量化,通過廣播和IP方式分發(fā),以及解壓縮。這為視頻技術廠商提供了機會。
但是,這些機會涌現(xiàn)的速度極其危險。高技術設備從概念到供貨的平均上市時間從90年代的5到6年縮短到目前的一到兩年。最早提供一款高質量產品的廠商還可以勉強處于可持續(xù)競爭的邊緣。隨著更多公司相互競逐而在很短的時間內加入更多的功能,從產品的開發(fā)速度到系統(tǒng)的驗證速度,產品的許多控制因素都發(fā)生了改變。
圖1:帶有合格/不合格結果的ClearView GUI。
為了應對這一需求,一些測試機構采用了腳本,希望能節(jié)省時間。運行測試腳本盡管比手工測試要快,但如何使視頻質量分析自動化？絕大多數(shù)公司采用帶有“黃金眼”(golden eye)的測試儀器來驗證質量是否可接受。此外,許多聰明的測試人員更喜歡手動測試,他們喜歡將他們的時間投入到創(chuàng)造性的測試案例,而非滿足于只是熟悉復雜的腳本語言。
Video Clarity公司創(chuàng)造了一個突破性的視頻質量測試解決方法,使得設備制造商增加覆蓋并投入更多的時間到創(chuàng)造性測試上。該技術名為“ClearView”,是一個具有腳本的自動化視頻質量測試系統(tǒng)。ClearView包括一個非壓縮的視頻服務器,一臺視頻錄像機,一臺視頻播放設備,以及一臺定量視頻質量記錄儀。通過在一臺設備上提供所有這些設備功能,ClearView成為一套完整的測試系統(tǒng),可以實現(xiàn)先進的視頻質量評估和比較。
圖2:主觀分析顯示模式(垂直分割)。
ClearView視頻質量分析
Video Clarity公司的ClearView系統(tǒng)為軟件開發(fā)人員、硬件設計師、QA/QC工程師、視頻研究人員以及生產和視頻分發(fā)機構提供了一系列視頻質量分析工具。ClearView對視頻進行播放、錄像、顯示和視頻序列分析。該設備能夠從任何源文件、數(shù)字或模擬源,例如SDI、HD-SDI、DVI、VGA、HDMI、分量視頻、復合視頻或S端獲取視頻內容。不管是什么輸入,ClearView都能接收并將其轉換成非壓縮的 4:2:2 Y'CbCr, 4:4:4 RGB、ARGB、或RGBA。這使得編解碼器能夠方便地被相互比較和評估。
圖3:編碼器/解碼器(DUT)合格/不合格視頻測試實例。
ClearView提供了許多能夠接近主觀質量評估的數(shù)學模型?？陀^的數(shù)學方法根據(jù)具有最高質量的原始視頻信號的有效性被分成如下幾類:
1.全基準方法(FR)
2.降低的基準方法(RR)
3.無基準方法(NR)
你是否曾經想過將你的 & MPEG-2與其它的進行一下比較？現(xiàn)在就可以!你還可以測量視頻延遲和音視頻唇同步。
圖4:scriptable合格/不合格評分背后的基本原理。
數(shù)字壓縮的基本問題
和數(shù)據(jù)壓縮相似,視頻壓縮需要在磁盤空間、視頻質量和在合理的時間內對視頻解壓縮所需的硬件成本進行折中。不過,如果對視頻過壓縮,就會出現(xiàn)可視缺陷。這正是視頻質量測試和測量的使命,以便對視頻質量進行精確的建模。
在任何視頻質量測量之前,只需將視頻數(shù)據(jù)對齊。將會出現(xiàn)下面一些有關對齊的問題:
1.處理后的視頻時間上與原視頻信號對不齊
2.處理后的視頻水平方向上有移位
3.處理后的視頻豎直方向上有移位
4.處理后的視頻有色彩保真度損失
5.處理后的視頻音視頻不同步
時間對齊
客觀度量視頻質量是逐幀進行的,故視頻序列必須時間對齊。由于通常并沒有色柵/校準條,ClearView從一個視頻幀開始,并將該幀放到視頻序列中的另一個幀中,使之具有最小的差和(sum-of-difference)。ClearView然后進行修整使視頻序列時間上對齊。
空間水平對齊
1932年創(chuàng)立的隔行視頻,用來減小因CRT在刷新時間內無法遍及整個屏幕所引起的顫動。在數(shù)字電視規(guī)范中也用了隔行視頻,因為對于一定的線數(shù)和刷新時間,可以將信號帶寬降低一半。但是,只有CRT才可以顯示隔行視頻。于是,只有通過去隔行才能在DLP、LCD和等離子電視上顯示隔行視頻。由于去隔行算法的影響,處理單元將會引起幾個像素的水平移位。ClearView中包括一個算法,用來確定幀位移量并適當?shù)卣{整窗口尺寸。
空間豎直對齊
基于DCT的壓縮算法- MPEG、JPEG和VC-1,要求視頻必須可按16像素進行劃分。由于塊大小的限制,NTSC視頻從486線縮至480線,而HD 1080視頻實際上被壓縮到1088線。由于壓縮視頻之間尺寸以及顯示視頻窗口不匹配將引起豎直偏移。ClearView包括一個算法來確定幀偏移量并適當?shù)卣{整窗口尺寸。
色彩保真度損失
如果視頻是通過模擬源(分量視頻、復合視頻或S端口)輸出,則由于模數(shù)變換將會引起色彩的輕微偏差。ClearView將采用一個線性歸一化偏置來補償這一影響。
音視頻同步
在電視領域中,通常引起音視頻同步問題的原因是由于對電視節(jié)目的視頻部分進行了大量處理所致,通常由視頻壓縮編解碼產生。ClearView測量視頻源和處理后的A/V序列之間的時間偏移,然后對壓縮解碼器提供一個偏移量來補償處理延遲。
視頻質量評估
當今,視頻設備制造商憑主觀驗證視頻質量。主觀測試具有創(chuàng)造性但無法很好地量化。如何測試成千上萬套設備？如何進行回歸測試？如何根據(jù)主觀反饋來矯正測試設備和增加功能？
我們曾經提出這樣的問題—人眼評測客觀嗎？文中指出主觀視頻分析只能作為視頻質量的精確評估(aka,將視頻序列提供給一組專家)。然而,主觀視頻分析只能用于開發(fā)和評估,而無助于操作監(jiān)控、生產線測試、故障定位,以及設備特定的可重復性測量。對定量的、可重復性視頻分析的需求都需要客觀的視頻質量測試。
最小可覺差法
ClearView采用眾所周知的人體視覺系統(tǒng),即最小可覺差法 (JND)來客觀地評估視頻質量。JND根據(jù)算法來預測視頻質量,這些算法的根據(jù)是對數(shù)以百計的評估專家的觀測進行建模,并根據(jù)觀測距離、感知的缺陷、觀測角度以及電視顯示器尺寸等進行打分。
開始時,記錄下面兩個視頻序列:
1.視頻源序列
2.處理后的視頻
在開始JND之前,視頻在時間上和空間上被對齊,模擬噪聲被歸一化。我們的JND產生一個平均評價得分(MOS),分值等級從0到100,小于5為視頻質量優(yōu)異。(有關JND的更多信息,請查閱Sarnoff實驗室的白皮書)。
計算一個JND的主要目的是自動地評估觀測者平均評估得分,不過得到用戶評估的最好的方法還是直接詢問他們!使用ClearView的最簡單方法就是在相同條件下,在同一顯示器上觀測比較兩個視頻序列,并主觀地決定哪一個更好。視頻可以分屏顯示、無縫分屏,鏡像分屏(蝶形),或A-B(源-結果)方式,分割可以是水平分割,也可以是豎直分割。回放支持用于深入分析的縮放、慢動作、穿梭,以及暫停,下面給出了一些顯示模式。
回歸測試
在利用JND或你自己的“黃金眼”對視頻進行完評分后,該得分可以與任意數(shù)量的單元進行比較進行回歸測試。該視頻將被視作為后來參照的“黃金(樣板)”。在該例中,ClearView將兩個視頻序列對齊,并比較他們的視頻質量。任何得分低于用戶規(guī)定門限的視頻序列,都將被視為不合格。
ClearView按照下面來控制測試建立:
對被測設備(DUT)提供原始視頻序列
處理視頻數(shù)據(jù)
記錄DUT的輸出
4.參照“黃金”序列,ClearView對齊并歸一化DUT
計算A/V延遲和偏移(偏移=唇同步誤差)
將DUT序列與“黃金”序列進行比較
記錄每幀的合格/不合格,并產生一個總的合格/不合格得分
生成一個具有結果的記錄文件
所有的參數(shù)數(shù)據(jù)都被存儲在一個小日志文件中。該日志文件可以在任何一臺能夠訪問原始視頻序列的ClearView機器上回放,以便在解決異?，F(xiàn)象時能夠確保一個可重復環(huán)境。更進一步,這些日志文件可以加到回歸測試上,以確保這些異常能夠保持固定不變。為了更方便,分析和圖表工具集還可以將日志文件輸入到微軟的Excel文件中進行離線觀看。
GUI測試與自動腳本的比較
可以通過其GUI或其指令線接口來控制ClearView。使用ClearView最簡單的方式是通過其交互式GUI。結果被記錄并形成圖形,而視頻被預覽并輸出到外部顯示器上。當ClearView、DUT、工程師/測試人員都位于同一地點時,該功能效果更好。
當開發(fā)和系統(tǒng)驗證團隊工作在不同國家并使用不同語言時,會出現(xiàn)一些細節(jié)問題。ClearView包括一個可編寫腳本(scriptable)的指令線接口,可以提供與GUI相同的功能,這又兩個額外的好處:
1.指令可以從通過網絡可以訪問ClearView系統(tǒng)的任何地方輸入,
2.指令可以被批處理,具有返回代碼,標有日期,并被記錄,可重復利用
使用指令線接口,一個位于美國的測試人員可以發(fā)現(xiàn)不正常并將報告發(fā)給位于印度或中國的研發(fā)團隊。其他的團隊成員可以訪問ClearView日志,然后進行復制并進行處理。語言問題被減到最小,系統(tǒng)驗證可以圍繞著時鐘進行。
本文結論
視頻質量測試是一個難題。視頻處理系統(tǒng)的性能差異很大,并且與輸入視頻信號的動態(tài)特性有關,如大量的運動或空間細節(jié)。通過將視頻服務器、視頻錄像機、視頻播放機和視頻質量分析儀整合到一套具有交互式GUI和自動可編寫腳本的接口的系統(tǒng)中,視頻清晰度變成一個客觀性的視頻質量分析,也使得回歸測試成為現(xiàn)實。
作者:Bill Reckwerdt
CTO
Email: info@
Video Clarity公司
