- 相關(guān)推薦
基于大氣物理模型的快速視覺優(yōu)化去霧算法
摘要：針對霧霾天氣條件下單幅圖像降質(zhì)以及現(xiàn)有去霧方法時間復(fù)雜度高的問題，以環(huán)境光物理模型為基礎(chǔ)，引出快速視覺優(yōu)化去霧算法。首先對單幅圖像閾值分割找到天空區(qū)域，并結(jié)合二叉樹模型定位精確的天空光矢量，進而采用改進的約束最小二乘法濾波細(xì)化粗略透射比率，保證其邊緣細(xì)節(jié)較完整且受噪聲影響小，最后利用環(huán)境光物理模型實現(xiàn)無霧圖像的還原，并采用平均梯度、信息熵和視覺保真度等指標(biāo)對圖像進行評價。實驗結(jié)果表明，所提算法與基于多尺度Retinex的自適應(yīng)圖像增強方法、基于獨立分量的復(fù)原方法、快速可視化復(fù)原方法和暗原色先驗復(fù)原方法對比，指標(biāo)值較好且實時性強。
關(guān)鍵詞：暗通道先驗;二叉樹;最小二乘法濾波;閾值分割
引言
現(xiàn)有的去霧算法可分為兩個方向：一是基于圖像增強的算法改進，通過提高圖像的對比度，從人眼感官的角度優(yōu)化視覺效果;二是基于圖像復(fù)原的算法改進，針對環(huán)境光物理模型，采用病態(tài)方程和圖像處理的基本方法還原未知量。
去霧算法基于人眼視覺。增強類去霧算法通過強化和削弱某些信息達成此目的。早期的該類去霧算法如全局直方圖均衡化[1]，對圖像整體作均衡處理，但忽視了局部景深變化帶來的“暈輪效應(yīng)”。對此Kim等[2]用子塊部分重疊直方圖均衡化和Zimmerman等[3]插值直方圖均衡化方法解決了由“塊效應(yīng)”引起的運算復(fù)雜度高的問題。此外，Russo[4]通過多個小波尺度上的增強策略實現(xiàn)圖像細(xì)節(jié)區(qū)域較為精細(xì)的處理。劉茜等[5]提出的多尺度Retinex去霧自適應(yīng)算法(MultiScale Retinex， MSR)對細(xì)節(jié)處理，其圖像壓縮效果明顯; 但其濃霧處理顏色失真明顯，同時拉大了光暈和噪聲，因而該算法適用于薄霧處理。
基于環(huán)境光物理模型的去霧算法對數(shù)學(xué)模型逆推病態(tài)方程，所得的去霧圖像效果與現(xiàn)實場景相近，其細(xì)節(jié)真實細(xì)膩。Kratz等[6]基于Fattal[7]提出將單幅圖像作為階乘馬爾可夫隨機場的假設(shè)，其中場景反照率和景深是兩個獨立的統(tǒng)計量。此方法采用典型的期望最大化算法來實現(xiàn)因式分解，恢復(fù)出的無霧圖像具有精細(xì)的邊緣細(xì)節(jié); 但其輸出圖像被過度增強。Yu等[8]提出一種快速去霧方法，采用快速雙邊濾波器實現(xiàn)天空光矢量A的平滑; 由于中值濾波處理的速度明顯優(yōu)于雙邊濾波，因此該方法比采用中值濾波處理的算法[9]要慢。He等[10]通過觀察大量無霧圖像，提出暗通道先驗理論，即無霧圖像中至少有一個顏色通道的像素值很低的結(jié)論; 但此理論在戶外拍攝的圖像中，場景與天空亮度相近時不成立。
本文算法屬于環(huán)境光物理模型的去霧處理，對天空光矢量A采用閾值分割并結(jié)合二叉樹模型實現(xiàn)較為精確的求取。并對初始透射比率t(x，y)采用改進的最小二乘法濾波優(yōu)化，其抑制噪聲的同時能最大限度地保留邊緣細(xì)節(jié)。通過檢測平均梯度、信息熵以及視覺信息保真度三種參數(shù)，可得本文算法具有良好的人眼視覺效果，以及較強的魯棒性的結(jié)論。
一、霧霾成像的環(huán)境光物理模型
由Narasimhan等[11]引出的環(huán)境光傳輸?shù)奈锢砟Ｐ捅粡V泛應(yīng)用于機器視覺和計算機圖形處理領(lǐng)域，其表述式如下：
F(x，y)=R(x，y)e-βd(x，y)+A(1-e-βd(x，y))(1)
其中：F(x，y)代表霧氣圖像在(x，y)的像素強度值; R(x，y)表示無霧圖像在(x，y)處的像素強度值; t(x，y)=e-βd(x，y)為介質(zhì)傳輸?shù)耐干浔嚷剩?beta;為環(huán)境光的散射系數(shù)，d(x，y)為景深，此等式表明場景中的光線強度與景深成指數(shù)性衰減的關(guān)系;A為天空光矢量;R(x，y)e-βd(x，y)代表直接衰減項，表示在場景中的輻射和介質(zhì)中衰減掉的部分。
從圖形學(xué)的角度，霧氣圖像模型的等式表明在RGB三通道中，天空光矢量A、F(x，y)、R(x，y)之間存在幾何關(guān)系。透射比率t(x，y)為兩條線段的比值。
t(x，y)=‖A-F(x，y)‖‖A-R(x，y)‖=AC-F(x，y)AC-R(x，y);
C∈[R，G，B](2
利用環(huán)境光物理模型實現(xiàn)去霧處理，實質(zhì)為根據(jù)霧氣圖像F(x，y)估計天空光矢量A、透射比率t(x，y)和無霧圖R(x，y)。對于一幅具有n個像素點的彩色圖像F(x，y)，存在3n個約束量和4n+3個未知參量。對未知參量的還原需要大量的假定和前驗信息，引言所述的文獻[8-9]等去霧算法均在環(huán)境光物理模型下，通過自身算法的假定和前驗信息得到A、t(x，y)和R(x，y)。本文算法在He算法[10]前驗信息的基礎(chǔ)上優(yōu)化參量求取方法，使得還原圖像效果更接近真實值。
圖片
圖1環(huán)境光散射模型
二、本文算法的整體設(shè)計
天空光矢量A是還原無霧圖像的重要參量，大多數(shù)基于環(huán)境光模型的去霧算法對A值的處理不夠精準(zhǔn)。若取整幅圖像的最大像素值，一些白色或偏白色的背景目標(biāo)被誤取為A值。本文采用閾值分割結(jié)合二叉樹模型選取A值，首先利用閾值分割搜索天空區(qū)域，定位A值區(qū)間。再采用二叉樹模型對所得的天空區(qū)域分塊，求取塊的平均像素值，比較求取得到的平均值大小，并取像素值大的塊分塊比較，重復(fù)上述步驟至塊中的像素點數(shù)量小于給定的閾值T。在鎖定塊的像素點群中定位A值。進而采用改進的最小二乘法濾波[12]對初始投射圖t(x，y)優(yōu)化，該算法延續(xù)了最小二乘法濾波保持邊緣能力強的優(yōu)勢同時其去噪能力強。
本文算法主要步驟如下所示：
1)對霧氣圖像進行閾值分割得到天空分區(qū)s1;
2)對天空區(qū)域s1采用二叉樹模型分割并求取灰度均值最大值所在區(qū)域;
3)重復(fù)2)至區(qū)域s2的像素個數(shù)小于給定的閾值T;
4)將s2的每個像素值與255對比，所得最接近的像素值即為A值;
5)應(yīng)用暗通道先驗?zāi)Ｐ痛_定暗通道圖和初始投射圖;
6)應(yīng)用改進的最小二乘法濾波優(yōu)化透射圖[12];
7)根據(jù)公式R(x，y)=F(x，y)-Amax(t1(x，y)，t0)+A還原去霧圖像。
三、本文算法的具體實現(xiàn)
3.1閾值分割分區(qū)
將目標(biāo)和背景分開是閾值分割的目標(biāo)，本文采用閾值分割的目的是將天空與其他景物相分離。閾值分割算法中閾值選取往往占用大量處理時間，例如大津法OTSU[13](由Nobuyuki OTSU提出的最大類間方差法)其選取閾值方式為：
OTSU=Max[w0(t)*(u0(t)-u)2+w1(t)*(u1(t)-u)/2](3)
其中：閾值為t、w0為背景在整幅圖像灰度所占比例，u0為背景灰度均值，w1為前景在整幅圖像灰度所占比例，u1為前景灰度均值，u為整幅圖像的灰度均值。
本文根據(jù)先驗信息可知天空的像素值靠近255，故采用手動選取閾值法可節(jié)約處理時間。本文選取灰度閾值分割法，該方法是一種單閾值分割方法(只設(shè)一個閾值將圖像分割為背景和目標(biāo)兩部分)。首先將圖像轉(zhuǎn)換為灰度圖像，再利用每階灰度出現(xiàn)的概率繪制直方圖。原始圖像為F(x，y)，分割后的圖像為F1(x，y)，T為選取的閾值，則其基本式為：
F1(x，y)=
1，F(xiàn)(x，y)≥T
0，F(xiàn)(x，y) 分別選取閾值T為150、200、210，其效果如圖2所示。本文算法將閾值設(shè)定為210，找到天空區(qū)域s與原霧氣圖對照，確定有霧圖中的霧霾區(qū)域為s1。
圖片
圖2閾值分割圖
3.2二叉樹模型確定天空光矢量A
對閾值分割所得的天空區(qū)域s1應(yīng)用二叉樹模型確定天空光矢量A。將霧天圖像中對應(yīng)的s1區(qū)域分割為面積相等的兩部分，計算這兩部分的灰度均值，并比較灰度均值的大小。選取灰度均值大的部分s2進一步分割，重復(fù)上步驟，直到該部分存在像素點a[m，n]的個數(shù)小于給定的閾值t。二叉樹分割模型如圖3所示。
其中a[m，n]=a[0，0]a[0，1]…a[0，n]a[1，0]a[1，1]…a[1，n]a[m，0]a[m，1]…a[m，n]，并將a[m，n]值與255比較，d=|255-a[m，n]|，d取到最小值的a[m，n]即為本文選取的天空光矢量A值。
圖片
圖3二叉樹模型定位天空光矢量A
3.3改進的約束最小二乘法濾波[12]優(yōu)化透射比率
He方法[10]采用暗通道先驗， 得出除天空以外的景物其像素值至少有一個通道接近0的結(jié)論，并處理得到天空光矢量A和初始透射比率，其中透射比率亮度值大的部分代表光線在此處透過率好。
由于選用模塊化處理以及原始投射圖帶來的深度斷續(xù)問題，He等[10]采用soft matting優(yōu)化初始透射比率，其占用該算法 70%以上的處理時間。本文采用改進的最小二乘法(正則)濾波對透射比率實現(xiàn)優(yōu)化，傳統(tǒng)的正則濾波對透射圖邊緣細(xì)節(jié)保持效果好，但其對噪聲處理效果不理想。采用改進的約束最小二乘法濾波[12]處理投射圖，能在保持邊緣細(xì)節(jié)的同時較好地處理噪聲。
最小二乘法濾波的數(shù)學(xué)模型是基于圖像退化復(fù)原模型的二維離散卷積，改進的最小二乘法濾波引入約束條件進行推導(dǎo)。式(5)給出圖像退化模型，f(x，y)為給定圖像，n(x，y)為相關(guān)噪聲，g(x，y)為降質(zhì)圖像，其中g(shù)(x，y)的大小為M×N。
g(x，y)=H[f(x，y)]+n(x，y)(5)
其中：H[f(x，y)]是二維卷積離散化模型，該式表達如下：
h(x，y)*f(x，y)=1MN∑M-1m=0∑N-1n=0f(m，n)h(x-m，y-n)(6
改進的最小二乘法濾波[12]給出線性算子B1和B2，并結(jié)合t(x，y)構(gòu)造優(yōu)化后的透射比率t1(x，y)，構(gòu)造為‖B1t(x，y)‖2+‖B2t(x，y)‖2，且滿足約束條件‖g・Ht(x，y)‖2=‖n‖2，n為加性噪聲，利用上述兩個條件選取拉格朗日系數(shù)λ構(gòu)造函數(shù)，并實現(xiàn)求解最小值的問題。
J(t1(x，y))=‖B1t(x，y)‖2+‖B2t(x，y)‖2+λ(‖g・Ht(x，y)‖2・‖n‖2)(7
J(t1(x，y))對t(x，y)的最小值采用微分算子求�。�
J(t1(x，y))(t1(x，y))=2BT1B1t(x，y)+
2BT2B2t(x，y) ・2λHTg+2λHTt(x，y)=0(8
t1(x，y)=(HTH+1λBT1B1+1λBT2B2)-1HTg(9
令Rt1(x，y)和Rn為t1(x，y)和n的自相關(guān)矩陣，則定義
BT1B1=Rt(x，y)Rn
BT2B2=CTC
t1(x，y)=(HTH+1λR-1t(x，y)Rn+1λCTC)-1HTg(10
設(shè)定對角陣D，M，B，E則H=WDW-1，Rt(x，y)=WAW-1，Rn=WBW-1，C=WEW-1。
t1(x，y)=(WDDW-1+1λWM-1BW-1+
1λWEEW)-1WDW-1g(11)
透射到頻域，式(11)化為：
T1(u，v)=H*(u，v)×{|H(u，v)|2+
1/λ[Sn(u，v)/St(x，y)(u，v)+
1/λ[P(u，v)]2]}-1×T(u，v) (12
圖4給出初始透射比率構(gòu)成的初始透射圖和利用濾波操作處理后所形成的改進算法透射圖，與He算法[10]相比，改進算法透射圖更貼近現(xiàn)實。
圖片
圖4透射圖
3.4有霧圖像清晰化
本文通過閾值分割先確定天空區(qū)域，再應(yīng)用二叉樹模型較精準(zhǔn)地確定天空光矢量A值，對初始透射比率t(x，y)采用改進的約束最小二乘法濾波[12]優(yōu)化得到t1(x，y)。應(yīng)用式(13)對霧氣圖像還原，為避免求得的透射比率t1(x，y)值過小，甚至接近零，導(dǎo)致去霧圖像像素值被過度放大，R(x，y)產(chǎn)生很大的類似噪聲干擾的問題，取t0為透射比率的下限值，本文將t0設(shè)置為0.05。
R(x，y)=F(x，y)-Amax(t1(x，y)，t0)+A(13
四、實驗比較與分析
為檢驗本文算法的效果和性能，本文從定性和定量兩個方面對算法進行評價。實驗采用圖5(a)、圖6(a)、圖7(a)包含天空、水域等明亮區(qū)域的測試圖像，其分辨率分別為560×720、600×800、750×960。選用文獻[5]方法、文獻[6]方法、文獻[9]方法和文獻[10]方法與本文方法對比。
定性評價以人眼視覺效果為主導(dǎo)，本文選用不同背景人員對各方法的處理結(jié)果進行評分;定量分析以實驗數(shù)據(jù)給出客觀指標(biāo)，本文采用平均梯度、信息熵、視覺保真度對比文獻算法和本文算法的優(yōu)劣;運算效率分析以單幅圖像的處理時間給出算法處理速度，給出文獻算法與本文算法的對比。
4.1定性評價
本文選取大量測試圖像對改進算法測試，并與文獻[5]方法、文獻[6]方法、文獻[9]方法和文獻[10]方法進行比較，給出去霧效果的對比圖像。并調(diào)查不同年齡、性別、職業(yè)的若干人，給出其中五人(a為16歲女同學(xué)、b為16歲男同學(xué)、c為24歲女藝術(shù)專業(yè)學(xué)生、d為24歲男藝術(shù)專業(yè)學(xué)生、e為45歲女模式識別老師)對去霧視覺效果打分 (5分為滿分，代表與真實場景無異，4～5分為視覺效果優(yōu)秀，3～4分為視覺效果良好，2～3分為視覺效果中，1～2分為視覺效果差，0～1分為視覺效果很差)。
圖片
圖5本文和其他算法降質(zhì)圖像復(fù)原(測試圖像1
通過表1的數(shù)據(jù)并分析圖5～圖7可得，本文方法(見圖(f))認(rèn)可度最高，亮度分布協(xié)調(diào)，細(xì)節(jié)清晰，霧氣引起的噪聲基本消除，去霧效果與真實場景較為接近。文獻[5]方法(見圖(b))視覺效果優(yōu)良，但對色彩的過度增強，出現(xiàn)了色彩偏移;文獻[6]方法(見圖(c))出現(xiàn)了局部失真，圖像泛白，去霧效果整體不自然;文獻[9]方法(見圖(d))細(xì)節(jié)模糊，并伴有光暈現(xiàn)象，視覺效果欠柔和;文獻[10]方法(見圖(e))的明度偏暗，圖像噪聲明顯，霧氣殘留量大。
圖片
圖6本文和其他算法降質(zhì)圖像復(fù)原(測試圖像2
圖片
圖7本文和其他算法降質(zhì)圖像復(fù)原(測試圖像3
表格(有表名)
表1人眼感知視覺效果
參與者文獻[5]方法文獻[6]方法文獻[9]方法文獻[10]方法本文方法
a3.82.92.32.74.5
b4.22.52.12.24.8
c4.13.82.82.54.5
d4.53.53.22.84.9
e3.93.63.33.64.2
4.2定量評價
表2針對圖5～7中的圖像從平均梯度、信息熵和視覺信息保真度三個指標(biāo)進行衡量。平均梯度指標(biāo)值代表圖像層次的豐富程度，指標(biāo)值越大，圖像細(xì)節(jié)越豐富;信息熵指標(biāo)代表圖像信息的包含量，指標(biāo)值越大，圖像所含信息量越多;視覺保真度指標(biāo)代表人眼感官的綜合效果，指標(biāo)值越大，圖像失真度越弱。平均梯度指標(biāo)中，文獻[5]算法均優(yōu)于所給文獻算法，并略優(yōu)于本文算法。信息熵指標(biāo)中，本文算法略優(yōu)于文獻[5]算法，優(yōu)于所給文獻算法。視覺保真度指標(biāo)中，本文算法均優(yōu)于所給文獻算法。從表2可以得出，本文方法的去霧圖像處理質(zhì)量上得到提高，并具有一定的魯棒性。
表格(有表名)
表2幾種算法指標(biāo)值對比
方法圖號平均梯度信息熵視覺保真度
文獻[5]方法
圖5(b)12.05287.68922.8654
圖6(b)10.68267.85631.5682
圖7(b)15.62837.12551.9098
文獻[6]
方法
圖5(c)9.09284.05822.9826
圖6(c)6.65236.08231.6087
圖7(c)10.28056.30271.6825
文獻[9]
方法
圖5(d)8.25687.65291.9825
圖6(d)5.47826.32511.1053
圖7(d)8.99526.89251.7824
文獻[10]方法
圖5(e)8.82957.42052.0315
圖6(e)5.05236.56831.3015
圖7(e)9.01296.96781.6036
本文
方法
圖5(f)10.08927.86283.2105
圖6(f)9.86357.75682.1567
圖7(f)13.28547.36823.0982
原始
霧氣
圖像
圖5(a)6.32137.3528―
圖6(a)5.06277.5602―
圖7(a)8.32086.8925―
!根據(jù)情況左右加
注：加下劃線的數(shù)據(jù)表示每個指標(biāo)中，數(shù)據(jù)最優(yōu)的參數(shù)。
4.3運算效率分析
各算法所用時間如表3所示，可以看出本文方法不僅在圖像的處理質(zhì)量上有了提高，且大幅度縮短了處理時間，提高了處理效率。
表格(有表名)
表3幾種算法處理時間對比ms
圖像文獻[5]方法文獻[6]方法文獻[9]方法文獻[10]方法本文方法
五、結(jié)語
本文對環(huán)境光物理模型的未知參量，天空光矢量A和透射比率t(x，y)的估計進行創(chuàng)新。針對天空光矢量A的求取，首先采用閾值分割確定天空的大致范圍，進而引入二叉樹模型定位A值;并對透射比率采用改進的約束最小二乘法濾波代替He方法的軟摳圖，其實時性大幅度增強。實驗結(jié)果表明，本文方法的信息熵、視覺保真度指標(biāo)值良好，平均梯度指標(biāo)較好，其去霧圖像清晰度和對比度高，圖像自然真實。
雖然本文方法獲得了較為滿意的單幅圖像處理效果，但本文方法仍存在一定的局限性。濃霧條件下，圖像中的景物整體噪聲大;當(dāng)存在大塊灰白區(qū)域時，會對天空光矢量A值的估計帶來偏差，進而出現(xiàn)色偏。改進的約束最小二乘法濾波對傳輸比率小的區(qū)域，其線性算子的選取有偏差，易造成細(xì)節(jié)丟失。此外，由于霧霾天氣的復(fù)雜性和隨機性，以及成像設(shè)備獲取圖像質(zhì)量等諸多實際因素有待研究。下一步主要研究上述內(nèi)容，并引入白平衡算法調(diào)整色彩，以及嘗試新模型提高該算法的實時性，以便應(yīng)用在視頻處理中。
參考文獻：
[1]GONZALEZ R C， WOODS R E. Digital image processing[M]. 2nd Ed. RUAN Q， RUAN Y， translated. Beijing： Publishing House of Electronics Industry， 2007：70-81.(岡薩雷斯R C，伍茲 R E. 數(shù)字圖像處理[M]. 2版. 阮秋琦，阮宇智，譯.北京：電子工業(yè)出版社，2007：70-81.)
[2]KIM T K， PAIK J K， KANG B S. Contrast enhancement system using spatially adaptive histogram equalization with temporal filtering[J]. IEEE Transactions on Consumer Electronics， 1998， 44(1)： 82-86.
[3]ZIMMERMAN J B， PIZER S M. An evaluation of the effectiveness of adaptive histogram equalization for contrast enhancement[J]. IEEE Transactions on Medical Imaging， 1988， 7(4)：304-312.
[4]RUSSO F. An image enhancement technique combining sharpening and noise reduction[J]. IEEE Transactions on Image Processing， 2002， 3(4)：824-828.
[5]LIU Q， LU X， LI X. Adaptive image enhancement method based on multiscale Retinex algorithm[J]. Journal of Computer Applications， 2009， 29(8)： 2077-2079 (劉茜， 盧心紅， 李象霖. 基于多尺度Retinex的自適應(yīng)圖像增強方法[J]. 計算機應(yīng)用， 2009， 29(8)：2077-2079.)
[6]KRATZ L， NISHINO K. Factorizing scene albedo and depth from a single foggy image[C]// Proceedings of the 2009 IEEE 12th International Conference on Computer Vision. Piscataway： IEEE， 2009： 1701-1708.
[7]FATTAL R. Single image dehazing[J]. ACM Transactions on Graphics， 2008， 27(3)：1-9.
[8]YU J， XIAO C， LI D. Physicsbased fast single image fog removal[C]// Proceedings of the 2010 IEEE International Conference on Signal Processing. Piscataway： IEEE， 2010： 1048-1052.
[9]TAREL JP， HAUTIERE N. Fast visibility restoration from a single color or gray level image[C]// Proceedings of the 12th IEEE International Conference on Computer Vision. Piscataway： IEEE， 2009： 2201-2208.
[10]HE K， SUN J， TANG X. Single image haze removal using dark channel prior[J]. IEEE Transactions on Pattern Analysis and Machine Intelligence， 2011， 33(12)：2341-2353.
[11]NARASIMHAN S G， NAYAR S K. Vision and the atmosphere[J]. International Journal of Computer Vision， 2002， 48(3)：233-254.
[12]MIAO Q， TANG B， ZHOU H. Image restoration based on leastsquares increment iterative and regularization method[J]. Journal of Computer Applications， 2005， 25(12)：2816-2829.(苗晴，唐斌兵，周海銀.基于最小二乘增量迭代正則化方法的圖像復(fù)原[J].計算機應(yīng)用， 2005， 25(12)： 2816-2829.)
[13]LIU Y， ZHAO Y. Quick approach of multithreshold Otsu method for image segmentation[J]. Journal of Computer Applications， 2011， 31(12)：3362-3366.(劉艷，趙英良. OTSU多閾值快速求解算法[J]. 計算機應(yīng)用， 2011， 31(12)：3362-3366.)
【基于大氣物理模型的快速視覺優(yōu)化去霧算法】相關(guān)文章：
基于DSP的信道譯碼算法優(yōu)化03-19
采用快速導(dǎo)向濾波的暗通道先驗去霧算法的研究與實現(xiàn)03-21
基于智能優(yōu)化算法的MRI圖像適配模板濾波的閾值優(yōu)化03-07
基于視覺注意力模型的圖像檢索的研究11-22
動背景下基于模板匹配的快速跟蹤算法03-07