Automobile Technology

基于生成对抗网络改进­的更快速区域卷积神经­网络交通标志检测

-

针对小尺寸、远距离的交通标志检测­过程中缺少信息的问题,以改进的更快速区域卷­积神经网络(检测器为基础,结合生成对抗网络( 的目标检测算法实现对­小目标交通标志的检测。 首先根据期望目标设定­合适的锚点数量,生成包含小目标的候选­区域,再使用生成网络对候选­区域中的模糊小目标进­行上采样,生成高分辨率图像,最后使用分类损失函数­与回归损失函数对判别­网络进行改进。试验结果表明, 和生成对抗网络相结合­的检测算法可以提高远­距离小目标交通标志检­测性能。

级多尺度特征不能保证­所构造的特征检测有效。二是通过提升输入图像­的分辨率增加小目标的­特征信息。

Xu

等人[7]通过双线性插值法对图­像进行上采样操作,但基于插值的算法较为­简单,图像容易模糊而且有锯­齿边

Chen

缘; 等人[8]通过增加输入图像的数­量提高小目标的分辨率,但这种方法的数据输入­量可能不足,还会在增加输入数据时­大幅增加训练时间。因此,单独运用某一类方法不­能很好地解决问题。本文针对远距离交通标­志尺寸特征小、分辨率低而

Generative­难以检测的问题,提出基于生成对抗网络(

Adversaria­l Network,GAN)[ Faster R- CNN

9]与改进的 检

Faster R-CNN测器相结合的模­型。首先通过改进 的锚点获得精确的小目­标交通标志候选区,然后通过生成对抗网络­为小目标生成超分辨形­式,改进以超分辨率生成

Super- Resolution Generative Adversaria­l对 抗 网 络(

Network,SRGAN)[

10]为基础的网络结构,并在判别器网络中增加­分类与回归分支,以细化边界框,进一步促进生成网络产­生更精细的图像。

2改进的Faster R-CNN

2

当前,对象检测一般包含 个阶段,即从图像中识

Region Of Interest,ROI)

别感兴趣区域( 和更仔细地检查

Faster R- CNN

潜在的对象位置。 是一种端到端的目标检­测框架,通过一系列的卷积学习­提取图像的特征,并映射构成对象候选区­域阶段和分类阶段的基­础。区域

Region Proposal Network,RPN)

建议网络( 以任意大小的图像为输­入,输出一系列的候选区域­矩型框集合,但是

Faster R-CNN

直接将 基础框架模型应用于小­目标检测任务可能会造­成漏检。区域建议网络中的锚点­数量能够直接影响候选­区域的生成,为了增强网络对于小尺­度

Faster R-CNN

目标的检测水平,在改进 检测小目标时,

Faster R- CNN

可以选择适合大小与数­量的锚点。 默认

conv5 1 3×3

的锚点是通过在 上构建步长为 的 滑动窗口

3 3

上输入图像取得的,同一个中心分别取 个尺度,个比

9

例共取 个锚点。由于区域建议网络设置­的锚点参数无法识别区­域内较小的目标,所以在原有参数的基础­上,

32×32 64×64

加入 和 两组比初始设置更小的­锚点,使得

15

网络能够检测到更小的­目标。通过对增加到 个锚点

RPN 32×32 64×64 128×128

的 进行训练,尺度大小为 、 、 、

256×256 512×512,3 1∶1 1∶2 2∶1

、 个纵横比分别为 、 、 。感

RPN

兴趣区域池化层将 所标记的感兴趣区域坐­标投影

ROI

到特征图上,获取 图像送入生成对抗网络­进一步处理。1

本文提出的网络架构如­图 所示,该架构易于构

Faster R- CNN GAN

建,整体网络结构主要包括 和 两部

Faster R-CNN GAN

分, 检测器用于初始检测定­位,为 提

GAN

供感兴趣区域。 由生成器和判别器构成,检测到

GAN

的低分辨率小目标经 的超分辨网络重建为具­有高分辨率的大目标。

3

生成式对抗网络是一种­强大的无监督学习模型,无

GAN

需广泛注释训练数据。 在图像生成、图像编辑、图像标注、样式转移、图像超分辨等方面取得­了丰富的成

2

果[11],其基本结构如图 所示。

GAN

由生成器G和判别器D­构成,它们相互竞争,在训练过程中交替优化­生成器与判别器。训练生成器G产生样本­欺骗判别器D,同时训练判别器D将真­实图像与生成器生成的­图像分开。GD和 之间进行最大最小值博­弈,使生成样本无限接近真­实样本,目标函数为: mGin mDax LGAN(G, D)= logD +

E x) log(1-

E DG z)

LGAN(G,D) GAN

式中, 为 的损失函数; E为数学期望值; pdate与pz分别­为真实数据分布和随机­噪声分布;为采样于z D(x)输入样本的随机噪声; x为真实数据采样; 为x通过

G(z)判别网络判断为真实样­本的概率; 为生成器通过噪

D(G(z))

声z生成的样本; 为生成样本经由判别器­判断为真实样本的概率;和θω分别为D和G的­参数。

3.1生成对抗网络原理基­于生成对抗网络的小目­标超分辨

1) (本文将生成式对抗网络­的生成图像功能应用于­小SRGAN目标图像­的超分辨率图像重建工­作。 在图像超分辨方面已经­取得了不错的成果,但其对小目标生成的

3.2损失函数

GAN 2

通过 个高感知的对立网络竞­争创建出逼真的图像,本文采用像素损失与对­抗损失来优化生成器的­同时,对判别器网络增加分类­损失与回归损失,促使生成的小目标图像­产生更精细的细节,同时便于检测。本文的损失函数为:

LG = LMSE + Ladv + Lcls + Lreg 3)

(式中, LMSE、Ladv、Lcls、Lreg分别为逐像素­均方误差损失、对抗损失、分类损失、回归损失。逐像素损失就是像素间­的欧氏距离,它能够有效地

2

度量 幅图像的相似性,通过最小化逐像素均方­差损失,使得生成器生成的超分­辨图像与原图像更接近,逐

Mean Squared Error,MSE)

像素的均方误差( 损失为:

2

LMSE = G(

I LR) - 4) I HR (

=1

式中, N为输入的样本量。对抗损失促使网络产生­更好的高频细节,促使生成器网络为小对­象产生类似于大对象的­超分辨表示,以欺骗判别器网络,对抗损失为:

Ladv = log(1- D(G( LR))) 5)

I (

=1

回归损失不但使检测器­选取的候选目标位置更­准确,同时促使生成器对小目­标生成更清晰的细节,回归损失为:

Lreg( t, v

SL1 tHR -

v

=1 ∈{

0.5x2, <1

x|

式中, SL1( x) = ( x,y)

; 为边界框的中心坐

- 0.5,

x| 其他

标; wh、分别为高度与宽度; v =(

v v v v 为真实

=(

的边界框回归坐标; t t t t t 为预测的回归坐标; tHR、tSR分别为真实的高­分辨率图像与生成的超­分辨率图像坐标。为了实现对象检测的任­务并使生成的图像更容­易分类 ,本 文 引 入 分 类 损 失 ,低 分 辨 图 像 为

, = 1,2,…, , = 1,2,…,

I LR i N ,高分辨率图像为 I HR i N ,

= 1,2,…,

u i N 代表对应的图像类别标­签,分类损失为: Lcls = - log( Dcls G( + log( Dcls 7)

LR))

I I HR) (

=1

式中, Dcls G( I LR))

、Dcls I HR)分别为生成的超分辨图­像和真实的超分辨图像­属于真实种类ui的概­率。=

4 试验验证4.1数据集及参数设定

+ SL1 - tSR v 6) (

Chinese Traffic本文使­用中国交通标志数据集(

6

标的检测性能进行比较,结果如图 所示。在中大型数据集中,两者的检测性能没有很­大差异,但对于小目标集的检测,可以明显看出本文改进­的方法在检测性能上

Faster R-CNN

强于单独使用 。

 ??  ?? 图 网络架构
图 网络架构
 ??  ?? 图的基本结构
图的基本结构
 ??  ??

Newspapers in Chinese (Simplified)

Newspapers from China