基于自適應上下文信息的CNN交通檢測方法與流程

文檔序號:18684895發布日期:2019-09-13 23:50
基于自適應上下文信息的CNN交通檢測方法與流程

本發明涉及一種能夠實時應用的基于自適應上下文信息的CNN交通檢測技術。



背景技術:

為了解決這些日益嚴重的交通問題,智能交通系統應運而生(Intelligent Transportation Systems,簡稱ITS),其中車輛和行人識別是智能交通系統的重要組成成分,關于車輛和行人的一些現有的相關技術也得到了廣泛應用。

現在的交通檢測系統主要通過目標(行人和車輛)自身外觀信息的刻畫來實現不同目標的識別和檢測。當前,該類系統主要是利用人工設計的特征(如HOG,LBP,SIFT等)或通過深度學習直接從圖像本身獲得的深層特征來刻畫目標外觀,利用目標外觀,實現目標檢測。但在日常交通的實際檢測中,多為非約束的開放性環境,復雜多變,存在光照變化,視角變換,目標遮擋等干擾,如果單純只從目標自身的外觀信息出發,當圖像或視頻中交通目標本身提供的信息太少時,只根據目標本身無法準確判斷出目標類別。而且,不同的交通場景存在一定的差異性,忽略不同交通場景的差異性的普適交通目標檢測系統會降低交通目標檢測的準確性。



技術實現要素:

本發明針對在交通視頻中,借助不同交通場景下的差異性上下文信息能夠進一步豐富交通目標的描述,從而提高交通目標檢測的準確性,提出了基于自適應上下文信息的CNN交通檢測方法。

實現該發明目的所采用的技術方案:一種基于自適應上下文信息的CNN交通檢測方法,包括訓練階段和檢測階段,其特征在于,

訓練階段包含兩步:

第一步,在特定交通場景下,訓練獲取自適應的上下文特征選擇模型;首先,在特定的交通場景下,提取交通目標圖像及其上下文圖像的兩組CNN特征圖;然后,在同一尺度下,計算兩組特征圖間的差異,記錄并統計所有樣本差異度小于設定閾值的特征圖位置索引;接著,選取K個有效的上下文CNN特征圖的位置索引,得到自適應的上下文選擇模型,K>0,整數;

第二步,在獲取自適應的上下文特征選擇模型的基礎上,訓練基于自適應上下文信息的CNN交通檢測系統;在前向階段,首先,提取交通目標圖像及其上下文圖像的兩組CNN特征圖,利用上下文特征選擇模型保留的K個特征圖位置索引,從獲取的上下文CNN特征圖中,保留相應的有效特征圖;然后,對獲得的兩組特征圖分別利用目標核與上下文核做卷積計算獲得目標分值與上下文分值;接著,通過混合系數融合目標分值與上下文分值,獲得檢測分值;

在后向階段,計算檢測分值與標簽的誤差,用BP(Back ropagation)算法,更新目標核、上下文核和混合系數等參數;

檢測階段:在特定交通場景下,首先,輸入檢測的交通圖像,利用CNN提取256張特征圖,一方面,利用訓練好的目標核卷積256張特征圖獲得目標掩碼圖;另一方面,用上下文特征選擇模型保留的K個特征圖位置索引,從256張特征圖中選擇K個特征圖,利用訓練好的上下文核做卷積獲得上下文掩碼圖;然后,利用訓練好的混合系數,融合獲得的目標掩碼圖與上下文掩碼圖,聯合預測目標位置;最后,通過后處理,準確框定交通目標,K>0,整數。

該方案通過這種差異度量,能根據不同場景,自適應的融入上下文特征,增強了交通目標的表征,有效地提高了交通目標刻畫的準確性。

1.圖像特征的CNN提取方法,基于自適應上下文信息的CNN交通檢測系統均采用Alexnet的前五層結構提取交通圖像的特征圖;步驟是:(Alexnet是2012年提出的八層結構的卷積神經網絡模型。該神經網絡有6000萬個參數和650,000個神經元,由五個卷積層,以及某些卷積層后跟著的max-pooling層,和三個全連接層,還有排在最后的1000-way的softmax層組成。該模型使用了非飽和的神經元和一個非常高效的GPU關于卷積運算的工具。同時該模型為了減少全連接層的過擬合,采用了最新開發的正則化方法,稱為“dropout”。)

1.1假設輸入圖像為x0,將其表示為其中,和分別表示圖像x0在RGB空間的三通道圖。用l表示卷積層的索引,l=1,2,3,4,5。Ml表示第l個卷積層特征圖的數目,M1=96、M2=256、M3=384、M4=384、M5=256;則第l個卷積層的第j個特征圖計算方式如下:

其中,Wl表示相鄰卷積層特征圖的連接關系;表示卷積操作;與分別表示卷積核和偏移;

1.2通過第l層的池化層和非線性層得到表示為:

其中,g(g)表示進行局部響應歸一化處理,f(g)表示激活函數,采用不飽和非線性函數:

因此,CNN對輸入圖像x0在第五個卷積層獲取了256張特征圖j=1,...,256。每張特征圖的大小為輸入圖像x0的1/16。本系統為了方便表達用F(x0,j)表示輸入圖像在x0第5個卷積層提取的第j個特征圖。

2.自適應的上下文選擇模型,首先,對讀取的交通圖像集I進行統一表示,具體形式為:其中表示目標圖像,表示包含目標圖像的上下文圖像,yn∈{0,1}表示正負樣本的標記,n表示樣本索引:

2.1對輸入大小為80×48的目標圖像和其對應的大小為144×112的上下文圖像分別利用CNN提取第5個卷積層的特征圖,獲得256張5×3大小的目標特征圖j=1,...,256和256張9×7大小的對應的上下文特征圖j=1,...,256。

2.2為了能夠在同一尺度比較目標特征圖和其對應的上下文特征圖的差異,需要對目標特征圖進行上采樣,使每張特征圖的大小為9×7,記作

2.3采用余弦相似度的方法度量兩個特征圖與的差異。將目標特征圖的向量形式記為x,上下文特征圖的向量形式記為y,當相似度小于某個經驗閾值ε時,即

Scos(x,y)≤ε (4)

如果與差異度較小,丟棄上下文特征圖否則,保留上下文特征圖并最終記錄保留的上下文特征圖的位置索引。通過對2N張正負樣本圖片的結果進行統計,根據相應位置出現的頻率,進行排序,并最終選擇保留的上下文特征圖位置索引,實現自適應的上下文特征選擇,N>0,整數。本交通系統中保留大概85%的上下文特征圖。

3.訓練獲取交通檢測系統相關參數,訓練階段采用前向過程獲取上下文掩碼和目標掩碼:

3.1分別對目標圖像和包含目標的上下文圖像利用1)提取CNN特征,獲得相應的目標特征圖和上下文特征圖其中,j=1,...,256表示特征圖的數目。

3.2根據上述第2步獲取的自適應的上下文特征選擇模型,利用余弦相似度量目標特征圖和對應的上下文特征圖的差異,根據閾值從256張上下文特征圖中挑選需要保留的K張上下文特征圖其中q=1,...,K,K≤256。

3.3分別對目標特征圖和上下文特征圖利用不同的目標核和上下文核進行卷積,則得到的相應目標掩碼和上下文掩碼分別表示為:

其中,bo表示目標核與相應的偏移,bc表示上下文核與相應的偏移。目標核和上下文核的大小分別與和的大小一致。采用的是val id卷積(該卷積有邊界損失),因此和都是標量。

3.4融入上下文信息的檢測分值scoren表示為:

其中,γ表示目標和上下文的混合系數,γ∈[0,1]。針對不同場景,需要獲得不同的γ。通過該變量反映在不同場景中,不同上下文信息對目標檢測的不同作用,如γ=0,則上下文對目標檢測沒有作用,相當于該模型無須融入上下文,則該模型就是不考慮上下文的CNN目標檢測模型。

3.5該系統采用最小均方誤差的方法來建立目標函數,利用BP算法逐步減小scoren與標簽yn間的誤差。該模型的目標函數為:

其中,2N表示正負樣本的總數量。為了解決上式中相關參數的優化問題,本系統采用隨機梯度下降的方法來訓練該模型中的參數,所有參數w利用下式進行更新,直到收斂:

其中,i代表迭代的索引,α表示梯度下降算法的學習率。更新相關參數,需要反復計算目標函數L(g)的梯度。

4.交通目標檢測:通過目標掩碼圖和上下文掩碼圖聯合預測目標位置,然后通過非最大抑制獲取交通目標的檢測結果。

4.1首先,該系統輸入交通場景的圖像In,通過上述第1步方法提取特征圖,生成256張特征圖。

4.2接著,根據獲得的上下文特征圖選擇模型,從256張特征圖中,選擇K張有效的上下文特征圖,對已有的目標特征圖進行上下文信息的補充。

4.3然后,對上下文特征圖和目標特征圖分別卷積對應的卷積核,獲得相應的目標掩碼圖和上下文掩碼圖

4.4在檢測階段,采用的是same卷積(該卷積無邊界損失),因此和都是矩陣。最后,利用目標掩碼圖和上下文掩碼圖通過加權方式,聯合預測目標的位置M。

4.5通過非最大值抑制的后處理,得到相應交通目標的檢測結果。

本發明的有益效果:在本發明上述方案中針對交通目標本身信息不足等問題,借助于圖片或視頻中來自于目標外的相關信息,比如目標周圍的上下文信息直接或間接的為目標檢測提供輔助信息從而提高交通目標檢測的準確性。本方案提出了基于自適應上下文信息的CNN交通檢測系統。主要包含基于CNN的自適應的上下文選擇模型和融合該模型的交通檢測系統。相較于現有系統,因為融合了目標周圍的上下文信息和不同交通場景的差異性,從而進一步提高了車輛和行人檢測的準確性。

附圖說明:

圖1是自適應上下文信息的CNN交通檢測系統的整體框架圖;

圖2是自適應的上下文選擇模型圖;

圖3是自適應上下文信息的CNN交通檢測系統的參數學習圖;

圖4是自適應上下文信息的CNN交通檢測系統檢測過程圖;

圖5是交通目標檢測部分結果圖。

具體實施方式:

由于在交通視頻中,借助不同交通場景下的差異性上下文信息能夠進一步豐富交通目標的描述,從而提高交通目標檢測的準確性,所以,本發明基于此思路,提出了基于自適應上下文信息的CNN交通檢測系統。整體框架如圖1所示,主要包含訓練階段和檢測階段。

訓練階段主要包含兩步。第一步,在特定交通場景下,訓練自適應的上下文特征選擇模型。首先,在特定的交通場景下,提取交通目標圖像及其上下文圖像的兩組CNN特征圖;然后,在同一尺度下,計算兩組特征圖間的差異,記錄并統計所有樣本差異度小于設定閾值的特征圖位置索引;接著,選取K個有效的上下文CNN特征圖的位置索引,得到自適應的上下文選擇模型。第二步,在獲取自適應的上下文特征選擇模型的基礎上,訓練基于自適應上下文信息的CNN交通檢測系統。在前向階段,首先,提取交通目標圖像及其上下文圖像的兩組CNN特征圖,利用上下文特征選擇模型保留的K個特征圖位置索引,從獲取的上下文CNN特征圖中,保留相應的特征圖;然后,對獲得的兩組特征圖分別利用目標核與上下文核做卷積計算獲得目標分值與上下文分值;接著,通過混合系數融合目標分值與上下文分值,獲得檢測分值。在后向階段,計算檢測分值與標簽的誤差,用BP(Back Propagation)算法,更新目標核、上下文核和混合系數等參數。

檢測階段,在特定交通場景下,首先,輸入檢測的交通圖像,利用CNN提取256張特征圖,一方面,利用訓練好的目標核卷積256張特征圖獲得目標掩碼圖;另一方面,用上下文特征選擇模型保留的K個特征圖位置索引,從256張特征圖中選擇K個特征圖,利用訓練好的上下文核做卷積獲得上下文掩碼圖。然后,利用訓練好的混合系數,融合獲得的目標掩碼圖與上下文掩碼圖,聯合預測目標位置。最后,通過后處理,準確框定交通目標。

該方案通過這種差異度量,能根據不同場景,自適應的融入上下文特征,增強了交通目標的表征,有效地提高了交通目標刻畫的準確性。

一CNN特征提取

1)基于自適應上下文信息的CNN交通檢測系統均采用Alexnet的前五層結構提取交通圖像的特征圖。詳細步驟是:

(1.1)假設輸入圖像為x0,將其表示為其中,和分別表示圖像x0在RGB空間的三通道圖。用l表示卷積層的索引,l=1,2,3,4,5。Ml表示第l個卷積層特征圖的數目,M1=96、M2=256、M3=384、M4=384、M5=256。則第l個卷積層的第j個特征圖計算方式如下:

其中,Wl表示相鄰卷積層特征圖的連接關系。表示卷積操作。與分別表示卷積核和偏移。

(1.2)通過第l層的池化層和非線性層得到表示為:

其中,g(g)表示進行局部響應歸一化處理,f(g)表示激活函數,采用不飽和非線性函數:

因此,CNN對輸入圖像x0在第五個卷積層獲取了256張特征圖j=1,...,256。每張特征圖的大小為輸入圖像x0的1/16。本系統為了方便表達用F(x0,j)表示輸入圖像在x0第5個卷積層提取的第j個特征圖。

二自適應的上下文選擇模型

2)首先,對讀取的交通圖像集I進行統一表示,具體形式為:其中表示目標圖像,表示包含目標圖像的上下文圖像,yn∈{0,1}表示正負樣本的標記,n表示樣本索引。具體過程如圖2所示:

(2.1)對輸入大小為80×48的目標圖像和其對應的大小為144×112的上下文圖像分別利用CNN提取第5個卷積層的特征圖,獲得256張5×3大小的目標特征圖j=1,...,256和256張9×7大小的對應的上下文特征圖j=1,...,256。

(2.2)為了能夠在同一尺度比較目標特征圖和其對應的上下文特征圖的差異,需要對目標特征圖進行上采樣,使每張特征圖的大小為9×7,記作

(2.3)采用余弦相似度的方法度量兩個特征圖與的差異。將目標特征圖的向量形式記為x,上下文特征圖的向量形式記為y,當相似度小于某個經驗閾值ε時,即

Scos(x,y)≤ε(4)

如果與差異度較小,丟棄上下文特征圖否則,保留上下文特征圖并最終記錄保留的上下文特征圖的位置索引。通過對2N張正負樣本圖片的結果進行統計,根據相應位置出現的頻率,進行排序,并最終選擇保留的上下文特征圖位置索引,實現自適應的上下文特征選擇。本交通系統中保留大概85%的上下文特征圖。

三訓練獲取交通檢測系統相關參數

3)訓練階段采用前向過程獲取上下文掩碼和目標掩碼,相關參數學習的整體框架如圖3所示。

(3.1)分別對目標圖像和包含目標的上下文圖像利用1)提取CNN特征,獲得相應的目標特征圖和上下文特征圖其中,j=1,...,256表示特征圖的數目。

(3.2)根據2)獲取的自適應的上下文特征選擇模型,利用余弦相似度量目標特征圖和對應的上下文特征圖的差異,根據閾值從256張上下文特征圖中挑選需要保留的K張上下文特征圖其中q=1,...,K,K≤256。

(3.3)分別對目標特征圖和上下文特征圖利用不同的目標核和上下文核進行卷積,則得到的相應目標掩碼和上下文掩碼分別表示為:

其中,bo表示目標核與相應的偏移,bc表示上下文核與相應的偏移。目標核和上下文核的大小分別與和的大小一致。采用的是valid卷積(該卷積有邊界損失),因此和都是標量。

(3.4)融入上下文信息的檢測分值scoren表示為:

其中,γ表示目標和上下文的混合系數,γ∈[0,1]。針對不同場景,需要獲得不同的γ。通過該變量反映在不同場景中,不同上下文信息對目標檢測的不同作用,如γ=0,則上下文對目標檢測沒有作用,相當于該模型無須融入上下文,則該模型就是不考慮上下文的CNN目標檢測模型。

(3.5)該系統采用最小均方誤差的方法來建立目標函數,利用BP算法逐步減小scoren與標簽yn間的誤差。該模型的目標函數為:

其中,2N表示正負樣本的總數量。為了解決上式中相關參數的優化問題,本系統采用隨機梯度下降的方法來訓練該模型中的參數,所有參數w利用下式進行更新,直到收斂:

其中,i代表迭代的索引,α表示梯度下降算法的學習率。更新相關參數,需要反復計算目標函數L(g)的梯度。

四基于交通檢測系統的交通目標檢測

4)通過目標掩碼圖和上下文掩碼圖聯合預測目標位置,然后通過非最大抑制獲取交通目標的檢測結果,檢測過程如圖4所示。

(4.1)首先,該系統輸入交通場景的圖像In,通過1)方法提取特征圖,生成256張特征圖。

(4.2)接著,根據獲得的上下文特征圖選擇模型,從256張特征圖中,選擇K張有效的上下文特征圖,對已有的目標特征圖進行上下文信息的補充。

(4.3)然后,對上下文特征圖和目標特征圖分別卷積對應的卷積核,獲得相應的目標掩碼圖和上下文掩碼圖

(4.4)在檢測階段,采用的是same卷積(該卷積無邊界損失),因此和都是矩陣。最后,利用目標掩碼圖和上下文掩碼圖通過加權方式,聯合預測目標的位置M。

(4.5)通過非最大值抑制的后處理,得到相應交通目標的檢測結果。

本方案建立了一種高效,快速的交通檢測系統。如圖5所示本系統取得了令人滿意的交通目標檢測結果。

再多了解一些
當前第1頁1 2 3 
網友詢問留言 已有0條留言
  • 還沒有人留言評論。精彩留言會獲得點贊!
1
双双大床红利扑克50手电子游戏