摘要：針對直接集成簡單分類器對交通標志數據庫進行識別出現的類別預測效果較差的問題，提出一種基于卷積神經網絡(CNN)和Bagging集成學習的交通標志識別算法，采用爬蟲和圖像增強技術實現交通標志數據集的擴充，以CNN網絡提取交通標志圖像的特征，通過采用最大池化層實現圖像數據下采樣，采用較淺的網絡深度以簡化整體網絡結構。在CNN網絡特征提取的基礎上，利用軟投票機制對多項Logistic、近鄰、SVM個體學習器進行集成，實現較準確的交通標志識別。實驗結果表明，該算法在TSRD交通標志識別數據庫測試集上的識別準確率達到了93.00%，相對于未改進的卷積神經網絡模型識別的精度提高了11.99%，并較高于通過VGG16和ResNet50遷移學習實現的識別精度，具有較快的收斂速度。
關鍵詞：圖像增強;卷積神經網絡;遷移學習;集成學習;交通標志識別
近年來，自動駕駛領域的研究迅速發展，交通標志識別作為智能交通系統的重要研究方向之一，準確的識別交通標志對于自動駕駛的安全性至關重要，對交通標志進行特征提取并通過分類器識別可以進一步提高行車安全，交通標志早期的主要識別方法有模板匹配法，Alam等[1]通過傳統的模板匹配法簡單快速實現交通標志識別，通過模板在圖像像素點上進行搜索匹配，基于機器學習的方法在圖像識別領域也取得了重大進展。
主要采用人工進行特征提取和機器學習相結合的方法，交通標志特征主要有SIFT(scaleinvariantfeaturetransform)、HOG(histogramoforientedgradient)、LBP(localbinarypatterns)等[2]，人工實現特征提取用于去除無用信息，并將這些特征輸入分類器進行識別，如支持向量機、近鄰(KNearestNeighbor)、隨機森林、Adaboost(adaptiveboosting)等[36]基于機器學習的算法，韓習習等[7]提出了一種多特征融合并利用支持向量機分類的方法，Da等[8]的隨機森林法，Xu等[9]的Adaboost方法均取得了較好的識別效果，但都需一定的經驗知識。
由于深度學習無需較多的人工處理，網絡提取的深度特征可以更全面適應于交通標志，識別準確率高，近些年在目標分割、目標檢測、目標分類[1013]等領域發展較為迅速，Li等[14]利用了一種多層特征融合的方法，將全局特征和局部特征進行了融合，以此改進Lenet網絡，準確率相比未改進Lenet提高了3.03%。
Stalkamp等[15]在德國交通標志數據庫GTSRB(GermanTrafficSignBenchmarks)中提出的卷積神經網絡(CNN)較人眼識別率提高了0.24%;Zhang等[16]從預測精度和時間出發，提出了輕量級深度學習模型教師網絡和學生網絡，且可應用于移動嵌入式設備;Zhou等[17]在GTSRB數據集上，在卷積層后增加池化和Dropout機制以改善單個VGG模型;He等[18]提出ResNet模型以用于解決模型訓練過程中隨著網絡層數的加深導致的預測效果退化的現象。
鄧文軒等[19]引入注意力機制提出圖像分類降維的方法;Serna等[20]匯總了歐洲多國的交通標志數據集，在此數據集的基礎上比較了LeNet、IDSIA、URV等種卷積神經網絡架構的分類性能;Xu等[21]用直方圖均衡化方法增強圖像細節，并利用卷積神經網絡實現交通標志識別;Sapijaszko等[22]利用DWT和DCT兩種變換實現特征提取，利用多層感知機在TSRD(TrafficSignRecogntionDatabase)數據集上的最優準確率達到了94.90%。
公開模型是通過大量實驗所得到的，對數據進行特征提取進而完成相應的任務，目前單個模型的預測已較為成熟，對模型集成的方法還有待進一步深入。 集成學習可以實現分類器結合，從而提升分類效果，主要存在串行和并行集成兩類，串行的代表算法是Boosting系列算法，并行的主要代表是Bagging和隨機森林(RandomForest)，都具有較好的數據適應性。
鄺先驗等[23]基于Adaboost算法實現混合交通道路上車輛的識別;Tong等[24]采取的CNNSVM方法速度快，準確率較高;張功國等[25]利用SVM分類器代替Softmax，將改進的卷積神經網絡與SVM分類器集成，實現單幅交通標志測試時間僅1.32ms;屈治華等[26]利用CapsNet作為基分類器構建Bagging集成框架，以提升算法的整體預測精度;Sanga等[27]對目前存在的主要方法進行了總結，并指出還存在更多模型方法可進行實驗嘗試，在部分小批量數據集上遷移學習的效果并不比其它模型的效果更好;為進一步改善類別預測精度，通過改進的卷積神經網絡應用于交通標志特征提取，利用Bagging集成分類器實現交通標志分類，得到一個用于道路交通標志識別較新的參考方案。
改進卷積神經網絡卷積神經網絡是通過模擬生物神經系統進行特殊設計的一種網絡模型，主要包含輸入層、卷積層、池化層、全連接層以及輸出層，在圖像特征提取過程中不需要人工思考具體特征，可直接用于二維圖像的處理，可作用于原始的輸入數據如圖像的像素值。
卷積神經網絡與其他神經網絡最大的區別是在整個網絡結構中引入了卷積層，可以作為中間隱層的特征輸入，在圖像分類問題中，輸入主要一般是圖像尺寸和通道數的乘積，輸出層神經元的節點個數是根據具體任務所設計的，輸出層可以是單個或多個分類器的集成。
在機器學習領域，大部分任務都存在一定的相關性，因此通過某種方式將已有模型的參數載入新模型，優化模型的學習效率，實現相應的項目需求存在一定的參考價值。在交通標志識別任務中，考慮加載大型數據集ImageNet上訓練好的特征參數，將已有的參數作為初始訓練權重，并將圖像數據歸一化至的范圍內，消除部分樣本數據的影響，進而訓練整個模型，實現交通標志識別領域的遷移學習。
本文采用Vgg16和ResNet50進行遷移學習對比。為準確估計交通標志的類別，通過將淺層網絡處采用層卷積層，通過最大池化進行下采樣，添加Dropout隨機失活某些神經元節點，以改進最早提出的卷積神經網絡Lenet模型，為尋求應用于中小型數據集較好的網絡模型，改進的網絡模型設計共包含層卷積層、層最大池化層、層flatten展平層、層全連接層、層Softmax分類層，采用交叉熵損失函數和Adam優化器用于模型訓練，為實現不同分類器的分類效果對比測試，可提取全連接層的特征用于其他分類器的測試，提出的卷積神經網絡結構如圖所示。
2Bagging模型融合
2.1集成學習
集成學習就是通過某種策略結合多個個體學習器提高整體的泛化性能以完成學習任務，在機器學習分類任務中，常用的集成學習方法主要有串行和并行兩種方式，目前較流行的集成方法有Boosting、Bagging、Stacking等，串行的Boosting提升算法主要有通過更改每一次迭代過程中實例的權重實現更好的擬合，和使用新的分類器去擬合之前分類器預測殘差的方法兩類;由于在測試過程中多數模型過擬合，為降低數據噪聲的影響，本文采用的是一種裝袋法(Bagging)，即在CNN網絡提取的特征條件下，采用軟投票的機制，將分類器估算的類別概率在所有的單個分類器上求平均得出概率最高的類別，以聚合不同的分類器進行類別預測。
集成學習的預測結果一般要優于單個預測器，常用的集成方式是訓練一組單個的決策樹分類器并通過投票機制得到最終預測結果。集成的個體分類器可以是同種類型的，也可以集成不同類型的學習器，為進一步探索有效方案，設計一種異質集成的方法，訓練集的樣本采取交通標志的圖像數據，每輪利用有放回抽樣方式從樣本中選取數據，分別對單個分類器進行訓練，且采用并行的集成方式實現最終的類別概率預測。
Bagging集成用于不同種類的分類器上，利用有樣本放回的采樣方式對樣本特征數據實現多次采樣，通過模型的聚合以降低單個分類器較高的方差，以獲得比單個的分類器更好的類別預測性能。
2.2多項Logistic回歸
Logistic回歸模型在二分類及多分類問題上目前已經得到了十分廣泛的應用，具有計算速度快，實現簡單，穩健性良好的特點，對數據的條件要求較低，但較容易欠擬合，該模型主要是利用最大似然估計法對模型參數進行估計，通過修改Logistic的損失函數以得到Logistic回歸的多分類版本。
2.3基于CNN和Bagging集成
本文提出一種基于CNN網絡和Bagging模型融合的交通標志識別算法。該算法面向實際工程應用，通過盡量減少神經網絡中卷積層的數量以提高運行的速度，利用CNN網絡提取特征，構建基于Bagging的集成學習模型，所有進行實驗的模型均采用交叉熵函數作為損失函數。
在經過預處理的交通標志圖像數據集上，通過卷積神經網絡提取特征，以Bagging的方式集成多項Logistic、近鄰和SVM分類器實現對交通標志的識別，利用不同分類模型各自的優勢，對多個分類器實現投票表決，保存各模型的參數和預測結果，實現對模型的效果評估，實驗表明利用提取的特征來進行多模型集成分類時在驗證集和測試集上有較好的效果，其中交通標志識別算法的流程見圖所示。
3實驗結果與分析
3.1數據分析
本文采用公開的國內交通標志數據庫CTSD(ChineseTrafficSignDatabase)中的用于交通標志識別的數據集TSRD(TrafficSignRecogntionDatabase)，該數據庫一共包含6164幅交通標志圖像，訓練數據庫包含4170張不同種類的交通標志圖像，測試集交通標志圖像共1994張，該數據集主要由警告標志、指示標志及禁令標志組成，各標志的尺寸大小不一致，數據庫中的所有圖像都標注了符號和類別信息，利用Python隨機選取數據庫中的24張圖像。
3.2圖像預處理
由于交通標志的類別數不均衡，測試集中部分類別的交通標志數據集樣本較少，為獲取更多的圖像數據，防止模型過擬合，通過網絡爬蟲技術爬取對應數量較少的交通標志以實現數據集的擴充，首先設置初始URL(UniformResourceLocator)，并修改請求的headers偽裝成瀏覽器訪問，正則解析以匹配圖像的具體內容，利用Requests模塊獲取圖像保存至文件夾，最終通過人工的方式篩選所需圖像，爬取網絡交通標志圖像的流程。
在嘗試了使用圖像增強如圖像偏移、隨機縮放圖像范圍、設置剪切角、隨機旋轉操作對訓練集進行擴充之后，將其應用在模型訓練過程中反而出現了預測效果變差的現象，為了不丟失圖像的顏色信息，以及防止翻轉圖像產生一些不必要的錯誤信息，主要對圖像進行縮放變換以進一步擴充數據集，實現交通標志圖像數據集的增強，以改善圖像的樣本多樣性，同時經過數據集歸一化處理可以適應于神經網絡的訓練，通過Python語言隨機選取一些圖像進行展示。
在進行遷移學習時需適當調節輸入特征的尺寸以滿足模型訓練的條件，根據keras官方網站上的說明，VGG16和ResNet50模型的圖像輸入尺寸不小于32×32，為保證公平性，將所有模型的輸入圖像大小設置為32×32，實驗時將圖像的尺寸縮放為遷移學習模型的網絡輸入標準尺寸，在數據輸入之前，還需要對圖像數據進行歸一化處理，將所有的像素值縮放到同一個尺度，以使圖像在經過相同參數的歸一化處理后變為相同形式標準圖像，卷積神經網絡得以提取更加穩定的圖像特征。
總之，通過網絡爬蟲對不均勻的TSRD數據集進行擴充，主要爬取部分數量特別少的標志類別，然后調用keras.preprocessing.image模塊中的ImageDataGenerator類，以圖像縮放變換為主要方法實現數據集的進一步擴充，防止模型訓練可能產生的擬合不足現象。
3.3模型訓練
本實驗使用基于Python語言的Keras深度學習框架，硬件環境CPU為Intel(R)Core(TM)i59400F@2.90GHz，GPU為NVIDIAGeForceGTX1050Ti顯卡，操作系統為Windows10，Python版本為3.8.3，利用Pycharm集成開發環境進行編譯，實驗結果曲線采用matplotlib模塊可視化。
為了減小網絡訓練所用時間，將CNN的圖像輸入尺寸大小利用resize函數統一為32×32×3的RGB(RedGreenBlue)三通道彩色圖像，用卷積層提取特征作為基分類器的輸入，通過調用機器學習庫中的sklearn模塊對數據集劃分，在擴充的訓練集上將80%的數據集用于模型訓練，20%作為驗證。為保障訓練的模型性能，數據劃分過程中將數據集隨機打亂，其中特征數據的數據結構為數組形式，同時將標簽進行OneHot編碼以適應模型訓練結構。
4結論與展望
交通標志的識別準確率受到多種因素的影響，不同的交通標志數據集對模型訓練的效果存在較大的影響，為進一步提升識別準確率，防止模型過擬合，利用網絡爬蟲和圖像增強方式對原始數據集進行擴充，通過添加Dropout層隨機失活部分神經元，使用Relu激活函數代替Sigmoid以解決可能的梯度消失問題，減小整個模型的計算量，本文利用改進卷積神經網絡的方法實現高質量圖像特征自動提取，并通過Bagging模型融合對公開的交通標志數據庫進行分類識別，以便為自動駕駛交通標志識別提供一定的可參考方案。
在Win10環境下實驗發現，與經典的神經網絡相比，改進的方法在交通標志識別數據庫上取得了較好的效果，測試集準確率達到了93.00%，相對于未改進的卷積模型提升了11.99%，說明改進的方法有助于進一步提升類別的識別準確率。由于交通標志數據庫中一些圖片存在雨霧等自然天氣及其它意外損壞的情況，在訓練時未對特定的圖像進行去霧等預處理操作，采取的是較為原始的圖像數據，故對預測精度存在一定的影響，后續將考慮進一步加強前期數據預處理的工作。國內外學者在實時交通圖像方面的研究較少，對于如何實現快速的定位和實時的分類以實現自動駕駛的需求還存在一定的挑戰，研究的方法種類眾多，在實時道路的環境中實現快速分類任務也是未來重要考慮的一個方向之一。
參考文獻：
[1]AlAMA,JAFFERZA.Indiantrafficsigndetectionandrecognition[J].InternationalJournalofIntelligentTransportationSystemsResearch,2020,18(1):98112.DOI：10.1007/s13177019001781.
[2]劉亞辰.交通標志識別系統算法研究與設計[D].武漢：武漢理工大學，2017.
[3]ARDIANTOS,CHEN,HANG.RealtimetrafficsignrecognitionusingcolorsegmentationandSVM[C]//2017InternationalConferenceonSystems,SignalsandImageProcessing(IWSSIP).IEEE,2017:15.DOI：10.1109/IWSSIP.2017.7965570.
[4]宗鳴龔永紅文國秋等基于稀疏學習的KNN分類[J].廣西師范大學學報自然科學版),2016,34(3):3945.DOI：10.16088/j.issn.10016600.2016.03.006.
作者：田晟,宋霖
相關閱讀
