1 問題的引出

自然界中任何物體的溫度都高于絕對(duì)零度，會(huì)不斷向周圍空間發(fā)射紅外電磁能量。波長(zhǎng)在0.75 〜 1000μm范圍內(nèi)的紅外光位于電磁波譜中微波光和可見光之間。如圖1所示，這一光譜范圍可進(jìn)一步細(xì)分為短波紅外（0.76 〜 1.5μm）、中波紅外（1.5 〜 5.6μm）和長(zhǎng)波紅外（7.8 〜 13.5μm）。常用的可見光成像系統(tǒng)無法檢測(cè)紅外波長(zhǎng)范圍內(nèi)的能量信號(hào)，因此無法直接測(cè)量物體的溫度信息。如圖2所示，紅外熱像系統(tǒng)采集物體表面的紅外輻射能量，經(jīng)光學(xué)系統(tǒng)會(huì)聚，把接收的紅外光波映射至二維的紅外焦平面探測(cè)器（focal plane arrays，簡(jiǎn)稱FPA）上。焦平面探測(cè)器中的單個(gè)像元中的吸收層接收到紅外輻射能量后產(chǎn)生溫度變化，進(jìn)而導(dǎo)致非晶硅熱敏電阻的阻值變化，最后，互補(bǔ)式金屬氧化物半導(dǎo)體（complementary metal-oxide-semiconductor，簡(jiǎn)稱CMOS）電路將熱敏電阻阻值的變化轉(zhuǎn)變?yōu)椴罘蛛娏鞑⑦M(jìn)行積分放大，得到紅外熱焦平面陣列中單個(gè)像元的輸出值。通過以上紅外熱成像技術(shù)，可以探測(cè)物體本身溫度導(dǎo)致的紅外熱輻射，產(chǎn)生與景物熱輻射分布相對(duì)應(yīng)的紅外熱成像圖像。

圖1 紅外電磁波頻率分布

圖2 紅外信號(hào)采集系統(tǒng)

紅外焦平面探測(cè)器是紅外熱成像系統(tǒng)的核心部件，根據(jù)其成像原理和工作溫度分為制冷和非制冷兩類。制冷紅外焦平面探測(cè)器基于光子探測(cè)原理進(jìn)行紅外輻射成像，具有極高的測(cè)溫靈敏性，能準(zhǔn)確地測(cè)量物體的絕對(duì)溫度，且紅外探測(cè)距離遠(yuǎn)。然而，制冷紅外探測(cè)器的工作性能受環(huán)境溫度變化影響嚴(yán)重。環(huán)境溫度升高會(huì)導(dǎo)致探測(cè)器材料固有的熱輻射能耗迅速增強(qiáng)，暗電流和噪聲的增大將嚴(yán)重降低探測(cè)器的性能，甚至無法正常工作成像。因此制冷探測(cè)器的正常工作溫度在200K溫度以下，通常需要用液氮制冷，導(dǎo)致其制作和維護(hù)成本昂貴，目前主要應(yīng)用于高端軍事裝備。非制冷紅外焦平面探測(cè)器能夠在室溫狀態(tài)下工作，具有啟動(dòng)快、功耗低、體積小、重量輕、壽命長(zhǎng)及成本低等諸多優(yōu)點(diǎn)。目前，現(xiàn)有的非制冷紅外焦平面探測(cè)器制作工藝可以精確捕捉微小的物體表面溫度變化，例如基于氧化釩（vana­dium oxide，簡(jiǎn)稱VOx）熱敏材料的非制冷紅外焦平面探測(cè)器的單個(gè)成像元在25℃室溫環(huán)境下可以測(cè)量到±0.05℃的溫度變化。雖然非制冷紅外焦平面探測(cè)器在測(cè)溫靈敏度上與制冷器件尚有一定差距，但針對(duì)許多工業(yè)檢測(cè)應(yīng)用已經(jīng)足夠，且性價(jià)比高，因此具有更加廣闊的市場(chǎng)應(yīng)用前景。

紅外熱成像技術(shù)可以將光譜中不可見的紅外輻射信號(hào)轉(zhuǎn)化成為可見的二維圖像，實(shí)現(xiàn)無光環(huán)境下的優(yōu)秀成像，也可對(duì)物體表面溫度進(jìn)行非接觸式的準(zhǔn)確測(cè)量。紅外熱成像技術(shù)被廣泛應(yīng)用于軍事和民用領(lǐng)域，如生物醫(yī)療、故障診斷、防火消防、智能駕駛及夜視安防等。然而紅外熱成像技術(shù)的發(fā)展也面臨一些主要瓶頸制約問題，包括：a.信號(hào)采集系統(tǒng)中焦平面陣列傳感器存在固定模式噪聲干擾，嚴(yán)重影響紅外圖像信號(hào)的成像質(zhì)量；b.紅外探測(cè)器焦平面?zhèn)鞲衅髦谱鞴I(yè)復(fù)雜、成品率低、價(jià)格昂貴，制約了紅外熱成像技術(shù)的工業(yè)廣泛應(yīng)用；c.二維圖像采集過程中降維映射導(dǎo)致信息損失，影響了基于紅外溫度信息進(jìn)行設(shè)備狀態(tài)監(jiān)測(cè)系統(tǒng)的性能。針對(duì)以上3個(gè)主要問題，文中分別闡述在紅外信號(hào)固定模式噪聲建模和除噪、紅外信號(hào)特征重建、多源信息融合3個(gè)紅外信號(hào)處理研究領(lǐng)域的最新科研進(jìn)展。

2 紅外熱成像技術(shù)基本原理

在熱輻射理論，黑體（black body）吸收所有入射放射能量，并根據(jù)普朗克定律產(chǎn)生如下輻射能量：

其中：λ為輻射的波長(zhǎng)（μm）；Mλ為絕對(duì)黑體的光譜輻射出射度（W • cm2/μm）；T為絕對(duì)溫度（K）；c1和c2分別為第一和第二輻射常量。

在全部波長(zhǎng)范圍內(nèi)對(duì)普朗克公式積分，得到從黑體單位面積輻射至半球空間的總輻射功率，即總輻射出射度的表達(dá)式，通常稱為斯蒂芬•玻爾茲曼定律：

其中：M表示黑體的總輻射出射度（W • | cm2）；δ為斯蒂芬•玻爾茲曼常數(shù)（5.676 X 10-8 W • m2• K-4）。

斯蒂芬•玻爾茲曼定律表明了黑體輻射功率和絕對(duì)溫度之間的線性耦合關(guān)系，它是基于物體紅外輻射信號(hào)采集實(shí)現(xiàn)物體溫度測(cè)量的主要理論依據(jù)。根據(jù)維恩位移定律，黑體輻射光譜的極大值對(duì)應(yīng)的波長(zhǎng)為：

其中：b=2897.8 μm • K。

維恩位移定律表明，光譜輻射出射度的峰值波長(zhǎng)與絕對(duì)溫度成反比，物體溫度愈高，對(duì)應(yīng)輻射的峰值波長(zhǎng)越短。根據(jù)式（3），在200 〜 3800K度范圍內(nèi)物體目標(biāo)的光譜出射度峰值波長(zhǎng)均落在紅外波譜中。因此，可以利用紅外熱成像技術(shù)實(shí)現(xiàn)大溫度范圍內(nèi)物體表面溫度的非接觸式測(cè)量。

3 紅外熱成像系統(tǒng)噪聲形態(tài)建模及補(bǔ)償方法

紅外焦平面探測(cè)器作為紅外熱成像系統(tǒng)的核心部件，需要有極高的溫度響應(yīng)率和靈敏度，因此要求探測(cè)器像元微橋具有良好的熱絕緣性。同時(shí)為保證紅外熱成像的高頻信號(hào)輸出，需使像元的熱容盡量小以保證足夠小的熱時(shí)間常數(shù)。圖3為焦平面中單個(gè)探測(cè)元的結(jié)構(gòu)示意圖。最新紅外像元制作工藝?yán)眉?xì)長(zhǎng)的微懸臂梁支撐熱敏材料以提高絕熱性能。制作輕、薄的橋面結(jié)構(gòu)以減小熱質(zhì)量，并在襯底制作反射層，與橋面之間形成諧振腔，提高紅外吸收效率。利用懸臂梁的兩端將像元微橋與襯底內(nèi)的CMOS讀出電路連接。CMOS電路將熱敏電阻阻值變化轉(zhuǎn)變?yōu)椴罘蛛娏鞑⑦M(jìn)行積分放大，采樣后得到紅外熱圖像中單個(gè)像元的輸出值。

紅外焦平面探測(cè)器的制作工藝復(fù)雜，難以保證每個(gè)單獨(dú)探測(cè)元的溫度響應(yīng)特性一致。此外，非制冷紅外焦平面探測(cè)器單個(gè)探測(cè)元的溫度-輸出響應(yīng)曲線會(huì)隨著相機(jī)工作溫度的變化發(fā)生遷移。如圖4所示，采集的紅外原始圖像（raw image）中包含明顯的固定模式噪聲（fixec-pattern noise，簡(jiǎn)稱FPN），需要對(duì)其進(jìn)行非均勾性矯正（non-uniformity correction），降低噪聲信號(hào)的干擾，獲得真實(shí)反映物體溫度場(chǎng)信息的紅外圖像。

圖3 紅外焦平面探測(cè)器像元結(jié)構(gòu)示意圖

圖4 紅外圖像除噪

利用紅外輻射源對(duì)焦平面探測(cè)元陣列進(jìn)行溫度響應(yīng)曲線標(biāo)定是最常用的非均勻性矯正方法之_。在《Linear theory of nonuniformity correctionin infrared staring sensors》中，通過采集標(biāo)定源的紅外圖像，利用“兩點(diǎn)矯正法”或“相機(jī)擋板矯正法”計(jì)算單個(gè)成像元的非均勻性誤差的校正參數(shù)（如增益參數(shù)和偏移參數(shù)），并通過線性矯正模型應(yīng)用于原始圖像中的對(duì)應(yīng)成像元消除陣列空間非均勻性導(dǎo)致的信號(hào)誤差。然而，基于輻射標(biāo)定的非均勻性矯正方法需要使用外置熱源，嚴(yán)重影響了紅外熱成像系統(tǒng)的尺寸、重量、功率及制造成本。此外，在進(jìn)行定期校準(zhǔn)標(biāo)定的過程中，紅外信息的采集會(huì)被迫中斷數(shù)秒鐘，降低了紅外熱成像儀器的動(dòng)態(tài)實(shí)時(shí)性，無法捕捉場(chǎng)景中快速變化的目標(biāo)信息。

為了克服上述缺陷，在紅外信號(hào)研究領(lǐng)域中已經(jīng)提出了多個(gè)基于紅外視頻場(chǎng)景分析技術(shù)的無基準(zhǔn)紅外像元非均勻性矯正方法。Torre等提出了—種基于場(chǎng)景的紅外熱成像陣列非均勻性自適應(yīng)校正方法。利用離散時(shí)間域內(nèi)的高斯▪馬爾可夫（Gauss-Marko）建模方法，準(zhǔn)確獲得紅外熱成像陣列傳感器隨環(huán)境溫度變化導(dǎo)致固定模式噪聲中低頻和高頻漂移信號(hào)的不同形態(tài)規(guī)律。通過卡爾曼濾波器（Kalman filter）對(duì)陣列像元的輸出信號(hào)進(jìn)行時(shí)間域?yàn)V波分析，計(jì)算出探測(cè)器像元非均勻性矯正所需的增益和偏差參數(shù)。Vera等提出了一種基于場(chǎng)景輻照度變化估值最小化的紅外陣列非均勻性矯正方法。利用交替最小化的策略對(duì)定義的各向同性總變差損失函數(shù)進(jìn)行優(yōu)化，以更快的收斂速度準(zhǔn)確計(jì)算焦平面陣列中各個(gè)探測(cè)器的非均勻性矯正參數(shù)。然而，基于場(chǎng)景分析的非均勻性矯正方法通常需要緩存并處理一定數(shù)目的紅外圖像幀，才能完成非均勻性矯正參數(shù)的穩(wěn)定計(jì)算，因此難以實(shí)現(xiàn)基于現(xiàn)場(chǎng)可編程門陣列（field programable gate array，簡(jiǎn)稱FPGA）等信號(hào)處理硬件的實(shí)時(shí)計(jì)算。此外，基于場(chǎng)景分析的矯正方法需要其處理的圖像序列中包含足夠的場(chǎng)景信息變化，否則前幀圖像中的物體會(huì)作為偽影信息疊加至當(dāng)前幀。如圖5所示，此類偽影信息的產(chǎn)生將嚴(yán)重影響紅外圖像信息的真實(shí)性。

圖5 基于場(chǎng)景分析的紅外圖像非均勻性矯正過程中引入的偽影信息

由于以上基于熱源標(biāo)定和場(chǎng)景分析的非均勻性矯正方法的性能缺陷，紅外信號(hào)處理領(lǐng)域的研究焦點(diǎn)已逐漸轉(zhuǎn)移至基于單幀圖像處理的無基準(zhǔn)紅外焦平面陣列矯正方法的研發(fā)。Tendero等提出了一種基于中位直方圖均衡處理技術(shù)的單幀紅外圖像非均勻性矯正方法。如圖6所示，通過對(duì)像元列中不同輸出信號(hào)的出現(xiàn)頻率進(jìn)行概率統(tǒng)計(jì)，可以在保持紅外細(xì)節(jié)信息的同時(shí)有效消除紅外圖像中的條狀固定模式噪聲。如圖7所示，筆者設(shè)計(jì)并搭建固定模式噪聲信號(hào)模擬實(shí)驗(yàn)平臺(tái)，分析不同輻射強(qiáng)度輸入在紅外焦平面陣列上導(dǎo)致固定模式噪聲的形態(tài)特征，發(fā)現(xiàn)紅外熱成像系統(tǒng)中的條狀固定模式噪聲與輻射輸入呈局部線性耦合關(guān)系。

圖6 進(jìn)行條狀固定模式噪聲矯正前后的紅外圖

圖7 固定模式噪聲信號(hào)模擬實(shí)驗(yàn)平合示意圖

在對(duì)干擾噪聲進(jìn)行形態(tài)建模的基礎(chǔ)上，筆者提出基于一維引導(dǎo)濾波器的單幀紅外圖像非均勻性矯正方法，將高頻的紋理信息和干擾噪聲進(jìn)行準(zhǔn)確分離，并可以通過FPGA可編程信號(hào)處理器進(jìn)行實(shí)時(shí)圖像矯正處理。最近，科研人員開始嘗試將深度學(xué)習(xí)領(lǐng)域中的科研成果應(yīng)用于解決紅外領(lǐng)域中的除 噪問題。Kuang等在不同場(chǎng)景采集無噪聲紅外圖像，并通過條狀噪聲形態(tài)模型，模擬產(chǎn)生有固定模式噪聲的輸入圖像，通過搭建雙層卷積神經(jīng)網(wǎng)絡(luò)，以監(jiān)督學(xué)習(xí)的方式計(jì)算最優(yōu)的除噪模型參數(shù)，并通過圖形處理器（graphics processing unit，簡(jiǎn)稱GPU）并行編程實(shí)現(xiàn)視頻流的實(shí)時(shí)處理。然而，基于深度網(wǎng)絡(luò)學(xué)習(xí)的紅外圖像除噪研究尚處在起步階段。《Single infrared image stripe noise removal using deep convolutional networks》中提出的條狀除噪方法僅通過簡(jiǎn)單的線性噪聲模型產(chǎn)生訓(xùn)練樣本，因此訓(xùn)練的深度網(wǎng)絡(luò)模型只能在模擬產(chǎn)生的含噪圖像上取得了較好的除噪效果，無法應(yīng)用于包含復(fù)雜噪聲形態(tài)變化的真實(shí)紅外圖像上。如何實(shí)現(xiàn)訓(xùn)練深度網(wǎng)絡(luò)模型所需大規(guī)模實(shí)驗(yàn)數(shù)據(jù)的快速采集，是將深度學(xué)習(xí)技術(shù)應(yīng)用于紅外信號(hào)除噪領(lǐng)域的關(guān)鍵科學(xué)問題之一。

4 紅外信號(hào)特征提取及重建方法

高像素紅外焦平面陣列傳感器的制作工藝復(fù)雜、成品率低，導(dǎo)致其制作成本昂貴，嚴(yán)重制約了紅外熱成像技術(shù)的廣泛工業(yè)應(yīng)用。如何有效對(duì)低分辨率紅外圖片中的細(xì)節(jié)信息進(jìn)行提取、分析和擬合，通過特征重建的方式掌握低像素紅外圖像與高像素紅外圖像的復(fù)雜映射關(guān)系，是目前紅外信號(hào)處理領(lǐng)域的熱點(diǎn)研究方向。這種對(duì)低分辨率圖像進(jìn)行增強(qiáng)從而獲得其高分辨率版本的處理技術(shù)，在圖像處理領(lǐng)域中被稱作超分辨率。目前，大部分的超分辨率方案都是針對(duì)可見光頻譜中的彩色或者灰度圖像研發(fā)設(shè)計(jì)的，而適用于紅外圖像的超分辨率技術(shù)的研究尚處于探索階段。

超分辨率技術(shù)通?？梢苑譃榛跀?shù)據(jù)差插值、基于特征組合和基于樣本學(xué)習(xí)3大類。傳統(tǒng)的雙三次插值方法計(jì)算簡(jiǎn)單，運(yùn)行速度較快，但是得到的重建圖像比較模糊，并且會(huì)引入偽影。基于特征組合的超像素方法通過引入先驗(yàn)知識(shí)（如梯度一致、非局部均值等）來約束超分辨率重構(gòu)病態(tài)問題的解集空間，獲得到較好的重建效果。近些年來，基于大數(shù)據(jù)學(xué)習(xí)的超像素方法發(fā)展迅速，重建性能遠(yuǎn)超基于數(shù)據(jù)差插值和基于特征組合的超像素方法。其基本原理是對(duì)大量匹配的低分辨率和高分辨率圖像的對(duì)應(yīng)特征變化規(guī)律進(jìn)行學(xué)習(xí)擬合，從而得到低分辨率至高分辨率圖像的映射函數(shù)。

稀疏編碼是一種具有代表性的機(jī)器學(xué)習(xí)方法。其基本假設(shè)是低分辨率和高分辨率圖像具有相似的稀疏系數(shù)。稀疏編碼法通過對(duì)圖像進(jìn)行編碼分析，分別得到低分辨率和高分辨率圖像對(duì)應(yīng)的特征字典。當(dāng)輸入一幅低分辨率圖像時(shí)，計(jì)算其基于低分辨率字典中的稀疏表示系數(shù)。然后，使用相同的系數(shù)與高分辨率字典重建得到其對(duì)應(yīng)的高分辨率圖像。類似的機(jī)器學(xué)習(xí)算法還包括領(lǐng)域嵌入法，該方法認(rèn)為低分辨率和高分辨圖像在低維非線性流場(chǎng)上具有相似的幾何結(jié)構(gòu)。

利用深度學(xué)習(xí)的方法，Dong等提出了基于卷積神經(jīng)網(wǎng)絡(luò)的圖像超分辨算法（super-resolutionconvolutional neural network，簡(jiǎn)稱SRCNN），從大規(guī)模樣本數(shù)據(jù)集里學(xué)習(xí)低分辨率至高分辨率圖像的最優(yōu)映射函數(shù)。如圖8所示，雖然SRCNN的網(wǎng)絡(luò)結(jié)構(gòu)相對(duì)簡(jiǎn)單（僅包含3層卷積層），但是可以取得超過稀疏編碼方法和領(lǐng)域嵌入方法的圖像重建效果。此外，SRCNN精簡(jiǎn)的網(wǎng)絡(luò)結(jié)構(gòu)也滿足實(shí)時(shí)視頻流處理的要求。為了進(jìn)一步提升深度網(wǎng)絡(luò)模型的運(yùn)行速度，Shi等引入基于亞像素層機(jī)構(gòu)的高效亞像素卷積神經(jīng)網(wǎng)絡(luò)（efficientsut-pixel conv­olutional neural neetwork，簡(jiǎn)稱ESPCN）網(wǎng)絡(luò)模型（如圖9所示）。這種網(wǎng)絡(luò)模型直接將低分辨率圖像作為訓(xùn)練輸入，所有的卷積操作也都在低分辨率圖上進(jìn)行，大大減少了每幅圖片樣本訓(xùn)練時(shí)所需的卷積運(yùn)算次數(shù)。

圖8 SRCNN網(wǎng)絡(luò)結(jié)構(gòu)

圖9 ESPCN網(wǎng)絡(luò)結(jié)構(gòu)

為了進(jìn)一步提升深度網(wǎng)絡(luò)模型的重建效果，Kim等提出了深層超像素網(wǎng)絡(luò)模型（very deep super reolution，簡(jiǎn)稱VDSR），如圖10所示。通過將SRCNN進(jìn)行網(wǎng)絡(luò)深度擴(kuò)展（從3層增加至20層），并且引入了跳躍連接，學(xué)習(xí)低分辨率與高分辨率圖像之間殘差信息的映射關(guān)系。通過對(duì)網(wǎng)絡(luò)層數(shù)擴(kuò)展，其包含的參數(shù)數(shù)目大大增加，從而可以更加精確地?cái)M合低分辨率和高分辨率圖片之間的復(fù)雜映射關(guān)系。然而，隨著網(wǎng)絡(luò)深度的增加，回傳誤差極大化或極小化的問題也變得愈發(fā)嚴(yán)重，導(dǎo)致模型訓(xùn)練難度大大增加?！禔ccurate image super-resolution using very deep convolutional networks》通過使用較大的學(xué)習(xí)率加快了訓(xùn)練收斂速度，同時(shí)采用了可調(diào)節(jié)的回傳梯度限制，緩解了回傳誤差梯度極大化或極小化問題。

圖10 VDSR網(wǎng)絡(luò)結(jié)構(gòu)

由于復(fù)雜的網(wǎng)絡(luò)模型會(huì)導(dǎo)致龐大模型參數(shù)占用大量存儲(chǔ)空間的問題，Kim等提出了基于深度監(jiān)督和參數(shù)共享技術(shù)的深層遞歸卷積網(wǎng)絡(luò)（deep-recursiveconvolutional network，簡(jiǎn)稱DRCN）。多個(gè)模塊之間通過參數(shù)共享，大大減少模型的參數(shù)總和。并且每個(gè)模塊都通過跳躍連接將特征層輸出到重建層進(jìn)行重建，每個(gè)重建后的圖像都進(jìn)行互相監(jiān)督，并回傳誤差梯度。DRCN網(wǎng)絡(luò)模型在大大減少模型參數(shù)的情況下，取得了類似于VDSR模型的特征重建效果。如圖11所示，Tai等通過疊加了多個(gè)殘差網(wǎng)絡(luò)模塊（ResNet），構(gòu)建了一個(gè)包含52層網(wǎng)絡(luò)的深層遞歸殘差網(wǎng)絡(luò)（deep recursive residual net-work，簡(jiǎn)稱DRRN）結(jié)構(gòu)，取得了遠(yuǎn)超VDSR方法的重建效果。為了減少模型參數(shù)數(shù)目，每個(gè)殘差模塊之間共享參數(shù)。需要指出，雖然以上的參數(shù)共享的技術(shù)可以有效節(jié)省網(wǎng)絡(luò)模型參數(shù)的存儲(chǔ)空間，但在運(yùn)行模型時(shí)仍存在運(yùn)算速度過慢的問題，因此僅適用于對(duì)運(yùn)行時(shí)間要求不高的離線圖像增強(qiáng)應(yīng)用中。

圖11 DRRN網(wǎng)絡(luò)結(jié)構(gòu)

鑒于深度學(xué)習(xí)方法應(yīng)用于可見光圖像超像素取得的優(yōu)良性能，Choi等提出了4層紅外增強(qiáng)卷積神經(jīng)網(wǎng)絡(luò)（thermal image enhancement network，簡(jiǎn)稱TEN），將深度學(xué)習(xí)方法應(yīng)用到紅外圖像的超像素處理。如圖12所示，與SRCNN網(wǎng)絡(luò)相似，TEN的網(wǎng)絡(luò)結(jié)構(gòu)也比較簡(jiǎn)單，方便對(duì)網(wǎng)絡(luò)參數(shù)進(jìn)行訓(xùn)練但難以達(dá)到較高的特征重建效果。此外，由于高分辨率的紅外圖像數(shù)據(jù)集較難獲得，且可見光圖像的紋理變化比紅外圖像更加豐富，Choi等認(rèn)為可以利用可見光圖像進(jìn)行訓(xùn)練，并將訓(xùn)練得到的網(wǎng)絡(luò)模 型直接應(yīng)用于紅外圖像，同樣能取得較好的效果。然后，由于沒有分析紅外和可見光圖像特征的本質(zhì)區(qū)別，TEN的增強(qiáng)效果十分有限。因此，研究基于深度學(xué)習(xí)方法的紅外圖像超像素技術(shù)，首先需要完成大規(guī)模紅外圖像特征庫(kù)采集，并針對(duì)紅外圖像的紋理信息和結(jié)構(gòu)信息的不同特征，提出相應(yīng)的學(xué)習(xí)方法分別掌握，在提高擬合精度的同時(shí)簡(jiǎn)化網(wǎng)絡(luò)結(jié)構(gòu)。此外，基于節(jié)省成本的要求，低分辨率紅外傳感器的像元數(shù)量通常極低（比如60像素 X 80像素），因此要求的超分辨方法的放大倍數(shù)也相對(duì)較大，這也給紅外超分辨率技術(shù)的發(fā)展提出了更高的要求。研發(fā)一種針對(duì)紅外圖像的高倍超分辨率算法也是廣大科研人員需要解決的問題之一。

圖12 TEN網(wǎng)絡(luò)結(jié)構(gòu)

5 多源信息采集、融合及互補(bǔ)技術(shù)

使用二維紅外圖像表述三維物體的表面溫度分布具有嚴(yán)重局限性，包括只能獲取單個(gè)視角下物體的溫度信息、缺少溫度異常區(qū)域的三維信息、無法精確定位熱點(diǎn)位置等。因此，基于二維紅外圖像和三維深度信息融合互補(bǔ)技術(shù)的三維溫度場(chǎng)重建技術(shù)是紅外熱成像領(lǐng)域的熱點(diǎn)研究方向?，F(xiàn)有的三維溫度場(chǎng)重建系統(tǒng)通常包含以下主要步驟：a.對(duì)紅外相機(jī)與深度傳感器進(jìn)行外參標(biāo)定和視頻同步，實(shí)現(xiàn)單視角采集條件下的多維信息融合；b.將深度傳感器采集的物體單點(diǎn)三維信息進(jìn)行坐標(biāo)系統(tǒng)一匹配，獲取物體的完整三維信息；c.將采集的紅外溫度信息根據(jù)物體三維幾何信息進(jìn)行校正補(bǔ)償，并完成三維物體模型至二維紅外圖像的投影映射。

Skala等使用結(jié)構(gòu)光深度相機(jī)和紅外相機(jī)搭建三維溫度場(chǎng)重建系統(tǒng)。如圖13所示，他們制作特殊標(biāo)定板，使用立體標(biāo)定法計(jì)算出深度相機(jī)與紅外相機(jī)的外參矩陣，利用相機(jī)外參矩陣直接將溫度信息映射到三維模型上。Vidas等采集同時(shí)具備形狀和溫度明顯變化的物體（如工作狀態(tài)下的顯示器）的紅外圖像和深度圖像，通過對(duì)顯著邊緣信息的提取和匹配，計(jì)算紅外相機(jī)與深度傳感器之間的相對(duì)位姿，并完成多源傳感器的同步標(biāo)定。然而，由于標(biāo)定板邊緣處的深度信息不準(zhǔn)確和難以對(duì)低像素紅外圖像中的角點(diǎn)準(zhǔn)確定位等干擾因素，導(dǎo)致以上外參矩陣的計(jì)算方法存在誤差。

圖13 特殊標(biāo)定板對(duì)應(yīng)的圖像

為了獲取得物體的三維信息，Ju等搭建一套基于雙目立體視覺的三維重建系統(tǒng)。該系統(tǒng)使用兩個(gè)高分辨率的彩色相機(jī)，可以在光照條件良好的環(huán)境里，精確獲得物體的三維信息。然而該方案的測(cè)量精度易受環(huán)境光照、場(chǎng)景陰影等因素的影響，且配置多個(gè)高分辨率彩色相機(jī)價(jià)格昂貴，雙目成像系統(tǒng)體積大，無法勝任快速、靈活的三維掃描任務(wù)。Tanno等提出使用兩個(gè)紅外相機(jī)實(shí)現(xiàn)物體三維溫度場(chǎng)重建。但由于紅外圖片低分辨率、低紋理信息、缺乏特征點(diǎn)的成像特性，該方案獲取的物體三維信息精度較差。Ham等提出基于動(dòng)態(tài)、生成結(jié)構(gòu)（structure from motion，簡(jiǎn)稱SFM）技術(shù)的三維溫度場(chǎng)重建系統(tǒng)。然而，SFM算法只能生成稀疏點(diǎn)云且三維模型無尺度信息。激光雷達(dá)可獲得精確的三維點(diǎn)云并且受環(huán)境因素影響較小，Alba等使用激光雷達(dá)和紅外相機(jī)搭建三維溫度場(chǎng)重建系統(tǒng)。然而，基于激光雷達(dá)的三維信息采集方案的價(jià)格昂貴并且體積重量大等。近些年，基于主動(dòng)式結(jié)構(gòu)光投射原理的三維測(cè)量技術(shù)獲得了迅速發(fā)展。開發(fā)的深度傳感器（如Microsoft Kinect相機(jī)）具有價(jià)格低、重量輕、體積小和可夜間成像等諸多優(yōu)勢(shì)。然而，基于結(jié)構(gòu)光的深度相機(jī)普遍存在著噪聲干擾嚴(yán)重，測(cè)量精度不高等問題。Izadi等提出的基于GPU并行編程技術(shù)的Kinect Fusion算法，通過采集同一場(chǎng)景在臨近視角下的多幀深度信息，利用獲得的冗余三維信息，對(duì)傳感器噪聲進(jìn)行有效抑制，提高三維信息測(cè)量精度，可以實(shí)現(xiàn)±2cm精度的實(shí)時(shí)三維場(chǎng)景重建。

隨著多視角三維重建技術(shù)的發(fā)展，Vidas等提出基于結(jié)構(gòu)光深度相機(jī)的多視角全景三維溫度場(chǎng)重建系統(tǒng)。如圖14所示，該系統(tǒng)利用迭代最臨近點(diǎn)（iterative closest point，簡(jiǎn)稱ICP）算法來追蹤相機(jī)位姿得到深度相機(jī)位姿，并進(jìn)行多傳感器時(shí)間軸同步，估算出最近時(shí)刻紅外相機(jī)的位姿，最后將該視角下的三維信息與溫度信息融合到統(tǒng)_的全局坐標(biāo)系中，得到大場(chǎng)景的三維溫度場(chǎng)重建結(jié)果。然而，該系統(tǒng)使用的ICP匹配算法僅僅通過尋找?guī)缀梧徑c(diǎn)的簡(jiǎn)單方式建立三維匹配點(diǎn)，未能考慮其他有效的場(chǎng)景信息。因此，ICP算法在相機(jī)位姿變化劇烈的情況下容易失效，并且在全景三維重建的過程中無法有效處理累積誤差，導(dǎo)致重建的三維模型精度難以得到保障。

圖14 基于Kinect深度相機(jī)的三維溫度場(chǎng)重建結(jié)果

如圖15所示，《Real-time mobile 3D Temperature mapping》將基于視頻的位姿估計(jì)（video-based pose estimation，簡(jiǎn)稱VBPE）和ICP算法結(jié)合，提高追蹤相機(jī)位姿的穩(wěn)定性。為了保證三維溫度場(chǎng)重建系統(tǒng)的實(shí)時(shí)性，該系統(tǒng)只能提取簡(jiǎn)單的圖像特征點(diǎn)（如角點(diǎn)）對(duì)視頻圖像進(jìn)行匹配，因此仍然無法處理前后兩幀之間相機(jī)位姿變化大和物體缺少紋理信息的ICP失效問題。

圖15 VBPE和ICP結(jié)合的三維溫度場(chǎng)重建系統(tǒng)框圖

在獲得準(zhǔn)確匹配的二維溫度場(chǎng)和三維深度信息后，可結(jié)合結(jié)構(gòu)變化對(duì)紅外輻射發(fā)射率的影響函數(shù)，對(duì)二維溫度信息進(jìn)行三維視角正規(guī)化補(bǔ)償。為了獲得更高精度的三維溫度場(chǎng)，Muller等研究了一系列影響三維溫度場(chǎng)重建精度的因素，如深度相機(jī)分辨率、相機(jī)軌跡追蹤算法的精度以及魯棒性、物體離紅外相機(jī)的距離、紅外線在大氣中傳播的能量損失、紅外線發(fā)射角度以及反光的影響等。如何有效解決大位移條件下多維傳感器系統(tǒng)運(yùn)動(dòng)軌跡的穩(wěn)定計(jì)算，以及如何建立結(jié)構(gòu)變化與紅外輻射發(fā)射率之間的耦合函數(shù)，對(duì)二維溫度信息進(jìn)行三維視角正規(guī)化補(bǔ)償，是三維溫度場(chǎng)重建技術(shù)未來發(fā)展的重要科研方向。

6 多頻譜紅外和可見光信息互補(bǔ)技術(shù)

目標(biāo)物體在光照條件較好的白天環(huán)境中，可見光圖像能夠提供更加豐富的顏色紋理信息，而在光照條件較差的夜間環(huán)境中，紅外圖像具有比可見光圖像更加清晰的物體溫度信息。因此利用不同傳感器的互補(bǔ)性，獲得目標(biāo)更全面、更豐富、更多細(xì)節(jié)的多源信息，能有效提升紅外熱成像系統(tǒng)目標(biāo)檢測(cè)準(zhǔn)確度。以智能駕駛應(yīng)用中的行人檢測(cè)為例，Hwang等搭建車載多頻譜信號(hào)采集系統(tǒng)（如圖16所示），對(duì)城市中不同光照條件下的行人目標(biāo)進(jìn)行圖像采集和樣本標(biāo)注。Hwang等通過無視差的可見光與紅外圖像采集系統(tǒng)得到了完全配準(zhǔn)好的多光譜圖像數(shù)據(jù)集，采用集合頻道特征（aggregate channel features，簡(jiǎn)稱ACF）特征提取算子和Adaboost分類器訓(xùn)練得到的可見光與紅外目標(biāo)檢測(cè)器性能在白天和夜晚測(cè)試集上均超過了單一光譜（可見光或紅外）目標(biāo)檢測(cè)器性能。Choi等采用深度神經(jīng)網(wǎng)絡(luò)（deep convolutional neuralnetworks，簡(jiǎn)稱DC-NNs）進(jìn)行目標(biāo)特征的提取，使用支持向量回歸（su-port vector regression，簡(jiǎn)稱SVR）取得了比傳統(tǒng)特征方法更好的效果。Liu等將深度神經(jīng)網(wǎng)絡(luò)用于分類器的訓(xùn)練中，進(jìn)一步地提升了檢測(cè)器的性能。Kgnig等針對(duì)快速區(qū)域卷積神經(jīng)網(wǎng)絡(luò)特征（fast regions wth CNN features，簡(jiǎn)稱Fast-RCNN）對(duì)尺度較小目標(biāo)分類性能較差的特點(diǎn)提出了采用Ada-boost對(duì)區(qū)域建議網(wǎng)絡(luò)（region proposal network，簡(jiǎn)稱RPN）特征進(jìn)行精分類，提升了目標(biāo)檢測(cè)性能。目前對(duì)可見光與紅外行人目標(biāo)檢測(cè)模型的優(yōu)化主要還是在特征提取方法和分類器模型的選擇上進(jìn)行調(diào)整。筆者將同步檢測(cè)分割區(qū)域建議網(wǎng)絡(luò)（simulta­neous detection segmentation & region proposal network，簡(jiǎn)稱SDS-RPN）可見光行人目標(biāo)檢測(cè)模型用于紅外與可見光行人目標(biāo)檢測(cè)器的訓(xùn)練與測(cè)試中，取得了目前最低的漏檢率，SDS-RPN同時(shí)作為特征提取器和分類器，在檢測(cè)速度上更有優(yōu)勢(shì)?；诳梢姽馀c紅外多頻譜信息融合的行人目標(biāo)檢測(cè)模型的性能對(duì)比如表1所示。目前研究的紅外與可見光目標(biāo)檢測(cè)器均采用相同的算法對(duì)紅外與可見光圖像進(jìn)行特征提取。針對(duì)紅外成像特性研究適用于紅外圖像的特征提取方法，是今后提升基于紅外與可見光信息融合目標(biāo)檢測(cè)性能的一個(gè)重要方向。

圖16 可見光與紅外圖像采集系統(tǒng)

表1 基于可見光與紅外多頻譜行人目標(biāo)檢測(cè)模型對(duì)比

7 結(jié)束語(yǔ)

紅外熱成像技術(shù)通過二維圖像的形式準(zhǔn)確反映物體表面溫度分布情況，實(shí)現(xiàn)無光環(huán)境下的優(yōu)秀成像，也可對(duì)物體表面溫度進(jìn)行非接觸式的準(zhǔn)確測(cè)量，廣泛應(yīng)用于醫(yī)療診斷、故障診斷、能耗監(jiān)控、智能駕駛等眾多工業(yè)領(lǐng)域。在對(duì)紅外熱成像技術(shù)進(jìn)行研究的過程中，筆者發(fā)現(xiàn)紅外熱成像技術(shù)的發(fā)展也面臨一些主要瓶頸制約問題。由于紅外傳感器制作工藝的特殊性，存在嚴(yán)重的噪聲干擾，影響紅外圖像信號(hào)的成像質(zhì)量。此外，紅外探測(cè)器焦平面?zhèn)鞲衅鲀r(jià)格昂貴，難以進(jìn)行廣泛的工業(yè)應(yīng)用推廣。最后，紅外圖像只包含物體的溫度信息，無法單獨(dú)為準(zhǔn)確診斷提供依據(jù)，然而多源信息的采集融合工作目前還處于起步階段。

針對(duì)以上3個(gè)主要問題，筆者詳細(xì)介紹在紅外信號(hào)固定模式建模和除噪、圖像信息特征重建、多源信息融合三個(gè)紅外信號(hào)處理研究方向的最新科研進(jìn)展。未來擬開展的科研方向包括：a.紅外成像信號(hào)的噪聲構(gòu)成分析及形態(tài)建模方法；b.可見光和低像素紅外為信息源的紅外圖像重建理論；c.紅外圖像、可見光圖像、三維深度信息融合互補(bǔ)融合方法。研究成果將為新一代高成像精度、高分辨率、低制作成本的三維紅外成像儀器的研發(fā)具有重要的參考價(jià)值。