车视本科论文开题报告范文关于车视类电大毕业论文范文10000字有关写作资料-论文写作网

车视论文范文

《基于改进Faster RCNN算法的两轮车视频检测》

该文是车视方面有关论文范例跟算法方面毕业论文怎么写.

摘要：针对城市道路交通视频中两轮车检测经常遇到的误检、漏检频繁,小尺度两轮车检测效果不佳等问题,设计了一种基于改进的Faster R?CNN算法的两轮车视频检测模型.模型修改了锚点的参数,并构建了一种多尺度特征融合的区域建议网络（RPN）结构,使得模型对小尺度目标更加敏感.针对两轮车数据集匮乏,采用迁移学习的方法进行学习并获得两轮车检测的最终模型.实验结果表明,改进后的算法可以有效解决交通视频中小尺度两轮车的检测问题,在两轮车数据集上获得了98.94%的精确率.

关键词：两轮车视频检测; 两轮车检测模型; 改进Faster R?CNN算法; RPN网络; 参数修改; 多尺度特征融合

中图分类号： TN911.73?34; TP391.41文献标识码： A文章编号： 1004?373X（2020）09?0129?06

Two?wheeled vehicle video detection based on improved Faster R?CNN algorithm

KUANG Xianyan, LI Hongwei, YANG Liu

（College of Electrical Engineering and Automation, Jiangxi University of Science and Technology, Ganzhou 341000, China）

Abstract： For the frequent false and missing detection of two?wheeled vehicles in urban road traffic videos and the poor detection effect of all?scale two?wheeled vehicles, a two?wheeled vehicle video detection model is designed based on the improved Faster R?CNN algorithm. By the proposed model, the parameters of anchors are modified and structure of a multi?scale feature fusion RPN （region proposals network） is constructed, which makes the model more sensitive to all?scale targets. In view of the scarcity of data sets of the two?wheeled vehicles, the method of migration learning is used to learn and obtain the final model of two?wheeled vehicle detection. The experimental results show that the improved algorithm can effectively solve the problem of all?scale two?wheeled vehicle detection in traffic videos, and its accuracy reaches 98.94% on the data sets of two?wheeled vehicles.

Keywords： two?wheeled vehicle video detection; two?wheeled vehicle detection model; improved Faster R?CNN algorithm; RPN network; parameter modification; multi?scale feature fusion

0 引言

车辆检测技术是智能交通系统的重要组成部分,其对我国城市的发展有很大的促进作用.两轮车在交通流中越来越普及,又因其行驶路线比较灵活,易引起交通事故,所以对两轮车的检测变得非常重要.文献[1]通过最小距离分类器（KNN）设计了一种自动检测摩托车驾驶员是否佩戴头盔的系统.文献[2]通过提取摩托车的外形尺寸特征对摩托车进行识别.文献[3]通过检测摩托车驾驶员的头盔来识别摩托车,此方法在驾驶员没有配戴头盔时检测效果较差.文献[4]通过车轮区域的特征来区分摩托车与自行车.文献[5]采用压电传感器检测车轮的数量来识别摩托车,压电传感器容易受潮发生故障,故该方法对环境要求较高.文献[6]采用GMM和BMM组合前景提取方法对交通流中的两轮车进行检测与识别.由于传统算法提取的特征比较单一,受环境影响较大,导致对两轮车的识别效果不佳.近年来,深度学习也被应用到智能交通系统中.文献[7?11]通过卷积神经网络模型对车辆进行识别,并取得了不错的效果.但当目标检测物尺度较小或存在部分遮挡时,现有的方法存在频繁的误检、漏检现象,检测性能不高.而在实际的交通视频中,两轮车的尺度相对较小,针对这一问题,本文构建了一种基于改进的Faster R?CNN算法的两轮车视频检测模型,该模型对anchor框参数进行了修改,并对RPN（Region Proposals Network）网络进行了改进,构建了一种多尺度特征融合的RPN结构,从而提高模型对交通视频中小尺度兩轮车的检测.

1 两轮车检测模型设计

Faster R?CNN[12]是目标检测算法中精度较高的算法,本文选用Faster R?CNN算法来检测混合车流中的两轮车,设计的两轮车检测方案如图1所示.其中,特征提取网络指的是VGG16网络结构,用来提取两轮车的特征.从真实交通场景中制作两轮车数据集,输入到VGG16的卷积层中进行两轮车特征的提取并生成特征图,将生成的特征图送入到RPN网络,生成候选区域,再将提取的候选区域特征送入到ROI Pooling层,处理成固定大小的特征向量,最后送入全连接层,实现分类和边框的回归.

1.1 特征提取网络VGG16

VGG16[13]网络相比LeNet和ZF?Net[14]网络更深,可以提取两轮车更丰富的特征.本文选取VGG16网络与Faster R?CNN模型相结合.本文用到的VGG16部分结构如表1所示.

本文将VGG16结构中输出大小一致的卷积层归为一类,共分为五类,如表1第一列所示.每一类含有x卷积层,如Conv4_x/3,表示第四类含有3个卷积层.整个特征提取网络使用的均为3×3大小的卷积核.

1.2 RPN网络及其改进

1.2.1 RPN网络

RPN网络[15]和检测网络共享VGG16提取到的特征,使模型更加简化,提高了目标检测的速度,其结构如图2所示.VGG16提取的特征图输入到RPN网络,先经过一个3×3的滑动窗口在特征图上滑动,每次滑动都可以得到一个512维的特征向量,将这个512维的特征向量送入到两个全连接层,通过[2k]个1×1的卷积核将512维的特征向量映射到分类层,判别候选区域是前景还是背景.通过[4k]个1×1的卷积核将512维的特征向量映射到位置回归层,用来输出对候选区域坐标位置的回归.

图2中的anchor（锚点）位于3×3滑动窗口的中心处,每个滑动窗口可同时生成[k]个预测框,每个预测框都是固定大小且和锚点唯一确定.卷积特征图经过3×3大小的卷积核,卷积之后的每一个像素点映射回原图对应的坐标位置,以此坐标为中心生成[k]个不同大小的候选框,原始的RPN网络中[k]等于9.anchor的正负样本规定如下：

1）候选框与真实的标注框（Ground Truth,GT框）交集最大的记为正样本（确保每个真实的标注框至少对应一个正样本）;

2）候选框与真实标注框的交集与并集之比（IoU）大于0.7的候选框记为正样本,小于0.3的记为负样本,介于两者之间的舍弃.

RPN网络总的损失函数定义如下：

[Lpi,ti等于1NclsiLclspi,p*i+λ1Nregip*iLregti,t*i] （1）

位置回归损失函数定义如下：

[Lregti,t*i等于Rti-t*i] （2）

式中[R]表示具有鲁棒性的损失函数,其定义式如下：

[Rx等于0.5x2,x<1x-0.5,其他] （3）

1.2.2 RPN网络的改进

RPN网络中锚框的设置直接影响候选框的生成,是一个很重要的参数.原始的RPN网络是针对PASCAL VOC 2007数据集设置的,此数据集包含24 640个物体,物体大小不同,形状各异,具有普适性,故设置锚框时,尺度设置为128,256,512,为了适应不同形状的物体,设置了三种尺度比,分别为1[∶]1,1[∶]2,2[∶]1,共生成9种不同的锚框.

每一个滑动窗口可以产生9个不同规格的候选框,并通过非极大值抑制算法移除多余的候选框.但原始RPN网络设置的锚点参数无法召回尺寸较小的检测物.图3为人工在本文两轮车数据集上标注的GT框面积分布直方图,可以看出,交通视频中两轮车的尺寸相对偏小,GT框平均面积约为[3 865≈62×62],四分位数分别为[Q1等于2 108≈45×45],[Q2等于4 180≈65×65],[Q3等于7 296≈][85×85],这些参数离原始RPN网络设置的最小尺度128×128相差较大,所以,原始RPN网络生成的锚框对本文的两轮车数据集没有针对性,适应性较差.

四分位数间距不受两端个别极大值或极小值的影响,对数据的扰动具有一定的鲁棒性,同时,也可以在一定程度上避免因人工标注带来的误差影响.因此,为了提高模型对小尺度两轮车的检测性能,针对本文的两轮车数据集,将anchor框的尺度修改为45/65/85.

图4为GT框长宽比分布直方图.从图4可以看出,GT框的长宽尺度比主要集中在0.5和0.8附近,故将原始RPN网络中的比例改为1[∶]2和1[∶]1.25,可生成6种不同的候选框,总共生成的候选框个数为：

[Qanchor等于Lconv5?Wconv5?6] （4）

式中：[Lconv5]和[Wconv5]分别为VGG16第5个卷积层输出特征图的长和宽.

对于一幅分辨率为1 000×600的图片,原始RPN网络生成大约20[k]个候选框,而本文方法共生成約14[k]个候选框,减少了约6[k].

由于生成了更少数量且对交通道路中两轮车更有针对性的候选框,模型的性能得到了显著提高.

在实际交通视频中,由于摄像机是固定的,两轮车在行驶的过程中,车辆与摄像机的距离不同,其在视频图像中的尺度也不同,距离摄像机较近的车尺度较大,较远的则更小.针对交通视频中两轮车存在多尺度问题,认为原始的RPN网络只用一个3×3的卷积核对特征图进行卷积,感受野太过局限,并不能满足需求.不同范围的感受野可以获得不同尺度的两轮车,故构建一种多尺度特征融合的RPN结构,如图5所示.当VGG16网络提取的特征图输送到该RPN网络时,会有三个分支：第一个分支采用一个1×1的卷积核对特征图进行卷积;第二个分支采用一个3×3的卷积核对特征图进行卷积;第三个分支采用将两个3×3的卷积核串联在一起的方式对特征图进行卷积,其感受野相当于一个5×5的卷积核效果,但两个串联在一起的3×3卷积核可以提升网络深度,在一定程度上可以提升网络性能,同时,还可以减少参数量.

实验证明,改进后的RPN结构可以增强模型对两轮车多尺度的鲁棒性,使模型对小目标更加敏感,提高了模型对两轮车的检测性能.

1.3 迁移学习

本文两轮车数据集较小,为了避免模型出现收敛困难、精度低、过拟合等问题,采用迁移学习的方法进行学习.迁移学习是用已学的领域知识去解决与其不同但相关的领域问题,可以很好地解决相关领域中数据集匮乏的学习问题.迁移学习可以让模型看到不同类型的数据,使模型学习到更出色的底层规则,获得更高性能的模型.

本文采用模型迁移和微调的方法进行学习,使得只需少量的两轮车数据集就可获得很好的识别效果.迁移学习过程如图6所示.

本文构建的模型首先在ImageNet数据集上进行预训练,获得初始模型,然后利用两轮车数据集对初始模型进行微调.由于采集的两轮车数据集背景复杂多样,光照强度也有很大的差异,而且两轮车尺度相对偏小,ImageNet数据集中的物体则更加清晰,尺度相对较大,所以两种数据集相似度一般,因此,本文将初始模型的参数迁移到本文数据集后重新进行学习.

2 实验研究

2.1 实验环境

本文所采用的实验环境如下：计算机系统为Ubuntu 16.04;处理器为Inter i7?7700;内存为16 GB;显卡为Nvidia GeForce GTX1080Ti;编程语言为Python;深度学习框架为tensorflow.

2.2 实验数据

本文数据集是在含有两轮车的混合交通流路段进行采集的,整个数据集共含有2 520幅图片,均为城市交通路段的真实场景.随机选取其中的80%作为训练集,剩余的20%作为测试集.每幅图片中均包含1～10辆两轮车,尺度也各不相同.该数据集具有不同的背景和光照,还有目标检测物被遮挡的情况,种类复杂多样,具有代表性.

2.3 模型训练

整个网络训练过程参数设置如表2所示.

训练的loss曲线如图7所示.其中,①和③对比可以得出,含迁移学习的本文算法收敛速度更快,所以迁移学习加快了模型的收敛速度;①和②对比可以看出,改进后的本文算法在训练一开始损失函数就比原始的Faster R?CNN算法值低,且收敛速度更快,并在迭代16 000次后趋于稳定,这是由于本文改进后的RPN网络可以通过不同感受野的特征图,定位到不同尺度的两轮车,且锚框的尺度和长宽比是针对两轮车数据集设置的,因此在训练阶段,候选框回归时可以更迅速地将候选区域调整到与GT框更相近的位置,所以改进后的Faster R?CNN算法能够获得更小的loss值,并加快模型的收敛.

2.4 实验检测及结果分析

为了验证本文算法的优越性,在本文数据集上分别采用改进前和改进后的Faster R?CNN算法对交通视频中的两轮车进行检测.

图8为在某一交通视频中两轮车检测效果图,对最终置信度大于80%的检测框用标签标出.图8b）为改进前Faster R?CNN算法检测效果图,尺度较小的两轮车存在频繁的漏检、误检现象,可见原始的Faster R?CNN算法对小尺度的两轮车不敏感,对交通视频中两轮车的检测并不适用.观察图8a）可以看出,改进后的算法可以很精确地检测出不同尺度的两轮车位置,尺度较小的目标也被精确的检测出,对小目标的检测较为敏感,漏检现象得到了明显的改善,且置信度也相对较高.

图9为本文算法在六种交通场景下的检测效果图.可以看出,在两轮车不同的行驶角度、不同的光照强度、不同的交通路段以及部分被遮挡的情况下,改进后的算法均可以很精确地检测出不同尺度的两轮车位置,尺度较小的目标也被精确的检测出.夜间情况下,本文算法也可以有效地检测出道路上的两轮车,但输出的置信度会有所下降.由此得出,改进后的Faster R?CNN算法模型对不同的交通场景具有很强的适应性.

为了评估本文算法对交通视频中两轮车检测的有效性,采用精度（[P]）和召回率（[R]）[16]对算法进行衡量.精度[P]和召回率[R]可按式（5）和式（6）计算：

[P等于NTP（NTP+NFP）] （5）

[R等于NTP（NTP+NFN）] （6）

式中：[NTP]为正检数,表示两轮车中被正确检测出来的数量;[NFP]为误检数,表示把非两轮车检测为两轮车的数量;[NFN]为漏检数,表示两轮车中没有被检测出的两轮车数量.

不同方法检测结果如表3所示.实际两轮车数共1 516辆,其中,有25辆被漏检,原因是这25辆两轮车在行驶过程中与其他车辆出现大幅度粘连或被严重遮挡的现象,这一问题的解决方案将在下一步深入研究.误检数有16辆,其中,有2个行人和2辆小型汽车被检测为两轮车;12辆三轮车被识别为两轮车,这12辆三轮车都没有安装车棚,且距离摄像机位置较远,从外形看上去与两轮车很相似,很容易被误检为两轮车.表3将改进前与改进后的Faster R?CNN算法做了对比,结果表明,改进后的Faster R?CNN算法检测精度提高了1.38%,召回率提高了6.13%,具有明显的优势.

总体上,本文算法在不同的交通背景、不同光照、兩轮车不同的行驶角度以及部分遮挡的条件下,具有较强的鲁棒性,对小尺度目标更加敏感,能够精确地检测出交通道路上的两轮车,漏检率和误检率较低,对不同交通场景下两轮车的检测具有明显的优势.本文算法的召回率为98.35%,检测精度为98.94%,取得了较为满意的结果.

2.5 特征图的可视化

最后本文通过训练好的模型对单幅图片进行特征图可视化,部分特征图如图10所示.通过观察发现,特征图各不相同,这是由于不同的卷积核提取的特征也不同.第一行为Conv1_1层输出的特征图,通过肉眼可以清晰地看到物体的轮廓,物体边缘较为明显,并知道这些物体是什么;第二行是Conv5_3层输出的特征图,看上去很模糊,已经无法通过肉眼去理解这些特征的含义,这主要是因为浅层的卷积层提取到的是一些比较低级的特征,而深层的卷积层提取到的是相对比较高级的语义特征;第三行是RPN分类层输出的特征图,其每一幅特征图亮度较高的激活部分与第一行特征图中两轮车的位置一一对应.

由此得出,改进后的RPN网络可以很精确地定位出交通道路上两轮车的位置,图片其余的部分被判定为背景,进一步验证了改进后的本文算法对城市道路上两轮车的检测具有一定的应用价值.

3 结语

本文针对交通视频中小尺度两轮车检测存在的误检、漏检,检测效果不佳等问题,构建了一种基于改进的Faster R?CNN算法的两轮车检测模型,使得模型对小尺度目标更加敏感.

通过实验证明,本文算法有助于提高对交通视频中两轮车检测的精准性和鲁棒性,对小尺度目标、光照强度、部分遮挡等方面具有较强的适应性.总体而言,本文算法在对交通流中两轮车的检测上取得了较为满意的效果.下一步将围绕两轮车在大幅度粘连或遮挡较严重的条件下的检测问题做进一步的深入研究,以期取得更好的检测效果.

参考文献

[1] WARANUSAST R, BUNDON N, TIMTONG V, et al. Machine vision techniques for motorcycle safety helmet detection [C]// 2013 28th International Conference on Image and Vision Computing. Wellington, New Zealand： IEEE, 2013： 35?40.

[2] CHIU C C, KU M Y, CHEN H T. Motorcycle detection and tracking system with occlusion segmentation [C]// Eighth International Workshop on Image Analysis for Multimedia Interactive Services. Santorini： IEEE, 2007： 32?33.

[3] KU M Y, HONG S H, CHIU C C, et al. Visual motorcycle detection and tracking algorithms [J]. WSEAS transactions on electronics, 2008, 5（4）： 121?131.

[4] MESSELODI S, MODENA C M, CATTONI G. Vision?based bicycle/motorcycle classification [J]. Pattern recognition letters, 2007, 28（13）： 1719?1726.

[5] RAJAB S A, OTHMAN A S, REFAI H H. Novel vehicle and motorcycle classification using single element piezoelectric sensor [C]// 2012 15th International IEEE Conference on Intelligent Transportation Systems. Anchorage, ： IEEE, 2012： 496?501.

[6] 邝先验,王成坤,许伦辉.基于组合前景提取的混合交通两轮车视频检测[J].交通运输系统工程与信息,2014,14（5）：49?54.

[7] 甘凯今,蔡晓东,杨超,等.融合整体与局部特征的车辆型号识别方法[J].现代电子技术,2017,40（7）：134?130.

[8] SHI L, WANG Y M, CAO Y J, et al. Vehicle type recognition based on deep convolution neural network [C]// Third International Conference of Pioneering Computer Scientists, Engineers and Educators. Changsha, China： Springer, 2017： 492?502.

[9] WANG K C, PRANATA Y D, WANG J C. Automatic vehicle classification using center strengthened convolutional neural network [C]// 2017 Asia?pacific Signal and Information Proces?sing Association Annual Summit and Conference （APSIPA ASC）. Kuala Lumpur, Malaysia： IEEE, 2017： 1075?1078.

[10] ZHUO L, JIANG L Y, ZHU Z Q, et al. Vehicle classification for large?scale traffic surveillance videos using convolutional neural networks [J]. Machine vision & applications, 2017, 28（7）： 793?802.

[11] VISHNU C, SINGH D, MOHAN C K, et al. Detection of motorcyclists without helmet in videos using convolutional neural network [C]// 2017 International Joint Conference on Neural Networks. Anchorage, , USA： IEEE, 2017： 3036?3041.

[12] 程海燕,翟永杰,陈瑞.基于Faster R?CNN的航拍图像中绝缘子识别[J].现代电子技术,2019,42（2）：98?102.

[13] SIMONYAN K, ZISSERMAN A. Very deep convolutional networks for large?scale image recognition [EB/OL]. [2016?10?23]. http：//www.docin.com/p?1763953557.html.

[14] ZEILER M D, FERGUS R. Visualizing and understanding convolutional networks [C]// European Conference on Computer Vision. Zurich, Switzerland： Springer, 2014： 818?833.

[15] REN S, HE K, GIRSHICK R, et al. Faster R?CNN： towards real?time object detection with region proposal networks [J]. IEEE transactions on pattern analysis & machine intelligence, 2017, 39（6）： 1137?1149.

[16] BYEON Y H, KW K C. A performance comparison of pedestrian detection using faster RCNN and ACF [C]// 2017 6th IIAI International Congress on Advanced Applied Informatics （IIAI?AAI）. Hamamatsu, Japan： IEEE, 2017： 858?863.

上文总结，该文是一篇关于经典车视专业范文可作为算法方面的大学硕士与本科毕业论文车视论文开题报告范文和职称论文论文写作参考文献.

车视引用文献: