PDF《Article》

Opto-Electronic Engineering 光电工程Article

2018 年,第45 卷,第8期180111-1 DOI: 10.

12086/oee.2018.180111 改进的 HOG-CLBC 的行人检测 方法 程德强 1,唐世轩 1*,冯晨晨 1,游大磊 1,2,张丽颖

1 1 中国矿业大学信息与控制工程学院,江苏 徐州 221116;

2 河南应用技术职业学院信息工程学院,河南 开封

475000 摘要:传统的基于 HOG 与LBP 的特征融合行人检测方法光谱信息损失多、对噪声较为敏感,原始的 LBP 算法对不均 匀的光照变化鲁棒性差,对纹理特征的旋转不变性差.为了克服以上缺点,本文提出了一种基于 CLBC 和HOG 特征 融合的行人检测算法.首先,计算原始图像的 CLBC 特征,并计算基于 CLBC 纹理特征谱的 HOG 特征.接着计算原 始图像的 HOG 特征以提取图像的边缘特征. 然后将图像的三种特征融合来描述图像, 并使用 PCA 方法降低特征维度, 最后使用 HIKSVM 分类器实现最终对行人的检测.本文分别在 Caltech 行人数据库和 INRIA 行人数据库进行实验以验 证所提出算法的有效性.实验结果表明,本文所提出的算法有效地提高了行人检测的精度. 关键词:行人检测;

方向梯度直方图;

完备的局部二值编码;

特征提取;

特征融合 中图分类号:TP391 文献标志码:A 引用格式:程德强,唐世轩,冯晨晨,等. 改进的 HOG-CLBC 的行人检测方法[J]. 光电工程,2018,45(8):

180111 Extended HOG-CLBC for pedstrain detection Cheng Deqiang1, Tang Shixuan1*, Feng Chenchen1, You Dalei1,2, Zhang Liying1

1 School of Information and Control Engineering, China University of Mining and Technology, Xuzhou, Jiangsu 221116, China;

2 School of Information Engineering, Henan Vocational College of Applied Technology, Kaifeng, Henan 475000, China Abstract: The traditional feature fusion method based on HOG and LBP loses much spectral information, and it is more sensitive to noise. The original LBP algorithm has poor robustness to uneven illumination changes and poor rotation invariance to texture features. In order to overcome these shortcomings of the method, this paper proposes a pedestrian detection algorithm based on the feature fusion of CLBC and HOG. First, the CLBC feature of the original image is calculated, and the HOG feature based on the CLBC texture feature spectrum is calculated. The HOG feature of the original image is then calculated to extract the edge feature of the image. Then three features of the image are fused to describe the image, and after that we use principal component analysis to reduce the feature dimension. Finally, the detection of the pedestrian is realized by using the HIKSVM classifier. In this paper, experi- ments are carried out in Caltech pedestrian database and INRIA pedestrian database to verify the effectiveness of the proposed algorithm. The final experimental results show that the proposed algorithm improves the accuracy of pedestrian detection. Keywords: pedestrian detection;

HOG;

CLBC;

feature extraction;

feature fusion LBC code

4 Threshold

56 24

82 78

52 56

51 56

66 55

0 1

1 0

0 1

1 0 收稿日期:2018-03-08;

收到修改稿日期:2018-05-30 基金项目:国家自然科学基金资助项目(51774281);

江苏省 六大人才高峰 高层次人才培养项目(2015-ZBZZ-009) 作者简介:程德强(1979-),男,博士,教授,博士生导师,主要从事图像智能检测与模式识别、图像处理与视频编码的研究. E-mail:[email protected] 通信作者:唐世轩(1993-),男,硕士研究生,主要从事图像检测与识别的研究.E-mail:[email protected] 光电工程 DOI: 10.12086/oee.2018.180111 180111-2 Citation: Cheng D Q, Tang S X, Feng C C, et al. Extended HOG-CLBC for pedstrain detection[J]. Opto-Electronic Engineering, 2018, 45(8):

180111 1 引言行人检测广泛应用于计算机视觉领域,如安防、 智能机器人、视觉监控和行为分析等.由于复杂多变 的环境因素、 不同的拍摄角度以及人类行为的多样性, 行人检测的准确性有待提高.与具有固定形状的刚性 目标不同,行人会在姿态不同、遮挡和观察角度变化 等方面影响检测效果.因此,行人检测算法的研究仍 然是计算机视觉领域的一个重要课题. 在计算机视觉领域中,行人检测一直都是研究的 热点.近年来,大量的行人检测算法不断提出,国内 外学者也进行了相关的总结[1-3] .随着深度学习概念的 提出,越来越多的深度学习算法被应用于行人检测当 中.联合深度学习[4] 提出了形变层,对物体部件间的 几何形变进行建模;

多阶段深度学习[5] 对在物体检测 中经常使用的级联分类器进行了模拟;

可切换深度网 络[6] 对物体各个部件的混合模型表达;

文献[7]通过迁 移学习将一个深度模型行人检测器自适应到一个目标 场景. 行人检测大致可以看作是将提取特征和设计分类 器相结合, 从未知图像或视频中自动检测存在的目标. 在行人检测系统中,将方向梯度直方图(histogram of oriented gradient, HOG)特征与局部二值模式(local binary pattern, LBP)特征相结合,并采用直方图交叉核 支持向量机(histogram intersection kernel support vec- tor machine, HIKSVM)分类器进行分类的检测模式得 到了广泛使用,并取得了不错的结果.其中,在特征 提取方面,HOG 特征[8] 和LBP 特征[9] 分别得到了广泛 的应用,越来越多的专家学者也在致力于对已有特征 进行优化. 使用 HOG 及其改进算法[10-12] 获得了较好的实验 结果. 然而由于梯度的性质, HOG 描述子对噪声相当 敏感. LBP 是描述局部图像模式的简单而有效的算子, 许多其改进的算子[13-18] 也被提出用于提取图像的纹理 特征.然而,原始的 LBP 以及改进的 LBP 算子对于提 取局部灰度差异信息的效果不佳,且具有对噪声鲁棒 性差、旋转不变性差等问题.而且,传统的基于 HOG 与LBP 的特征融合行人检测方法也存在谱信息损失 多、对噪声较为敏感等问题. 针对 HOG-LBP 行人检测方法中存在的缺陷,基于HOG 与完备的局部二值计数(completed local binary count, CLBC)[19] ,本文提出一种改进的 HOG-CLBC 行 人检测方法.其中,为了提取原始图像的边缘特征和 纹理特征,分别计算图像的方向梯度直方图特征[8] 和 完备的局部二值计数特征[19] ,同时基于完备的局部二 值计数纹理特征谱计算方向梯度直方图特征.然后将 得到的三种特征按串行方式进行融合,得到最终的图 像描述子,并且利用主成分分析法(principal compo- nent analysis, PCA) 来降低特征维度.最后使用HIKSVM 分类器[20] 进行分类实现检测.所提出方法既 可以降低特征维度,又不会丢失图像的边缘信息,并 且对图像的纹理特征具有高度的旋转不变性,可以获 得较为令人满意的行人检测结果.本文采用的行人检 测算法优势在于: 1) 对于纹理特征的描述, 本文使用完备的局部二 值计数的算法,相较于传统的 LBP 算法及其变体,此 算法对纹理特征具有很好的旋转不变性,并提高了对 噪声的鲁棒性,且不会丢失图像的局部二值灰度差异 信息;

2) 使用方向梯度直方图可以很好地描述图像的 边缘结构特征, 有利于描述局部的形状信息, 对偏移、 旋转和光照具有鲁棒性;

3) 计算基于完备的局部二值计数的纹理特征谱 的方向梯度直方图,用于描述纹理特征谱的边缘梯度 特性,既保留了纹理特征谱的边缘特征,又不会损失 局部细节特征;

4) 融合以上三种特征描述子, 同时保留了图像的 纹理特征谱特征和边缘信息,提高了检测的精度.行 人检测实现方法的具体流程如图

1 所示.

2 完备的局部二值计数 2.1 完备的局部二值模式(CLBP) 为了提高 LBP 描述子的鉴别能力,Guo 等人[16] 提出了 CLBP 描述子,将图像局部差分解为两个互补 成分,即符号(sp)和幅值(mp),分别为 c c 1,

0 0,

0 ≥ ? <

? p p p p x s s g g m g g s x x , (1) 光电工程 DOI: 10.12086/oee.2018.180111 180111-3? 其中:gp(p=0,…,P-1)为在半径为 R 的圆上的相邻像素 的灰度值,gc 为中心像素的灰度值,P 为相邻像素的 总数.分别对两个算子 SCLBP 和MCLBP 进行编码,其中 SCLBP 等同于传统的 LBP,并且 MCLBP 测量局部的幅度 变化.MCLBP 可以定义如下: ( )

1 CLBP

0 1,

2 , , 0, P p p p x c M P R t m c t x c x c ? = ≥ ? = ∑ = ? <

? , (2) 其中:阈值 c 被设为整幅图片的 mp 的均值.Guo 等[16] 观察到表示图像局部灰度级的中心像素也具有判别信 息. 因此, 定义了一个名为 CCLBP 的算子来提取局部中 心信息如下: CLBP c I C P R t g c = , (3) 其中:阈值 cI 被设为整幅图片的平均灰度级.通过结 合SCLBP,MCLBP 和CCLBP 这三个算子,改进了描述子的 旋转不变性. 2.2 局部二值计数(LBC) 在原始的 LBP 及其变体中,局部相邻集中的每个 像素通过与中心像素进行比较变成二进制形式.然后 这些二进制值被编码以形成局部二进制模式.在LBC 中,不是对它们进行编码,而是只计算二进制相邻集 中的值

1 的数量.LBC 的编码原理如图

2 所示.在二 进制相邻集中, 值1的个数为 4, 因此中心像素的 LBC 码也是 4. 因此,LBC 的计算过程定义如下:

1 0 c 1,

0 0,

0 P p p x LBC P R s g g s x x ? = ≥ ? <

? , (4) 其中:gc,gp,P 和R都是变量,在式(1)中被定义.实 际上,LBP 和LBC 的主要区别在于,LBP 使用二进制 数来编码局部模式, 而LBC 只计算局部相邻集中的值

1 的数目.但是他们的意义是非常不同的.通常情况 下,LBP 将重点放在以各种模式为特征的局部结构信 息上, 而LBC 仅涉及有多少像素具有比局部区域中心 像素相对较高的灰度.换句话说,LBP 可以提取局部 结构信息,而LBC 仅仅关注局部二值灰度差异信息. 实际上,在局部邻域集中的局部二值灰度差分信息是 强度量化后的比较关系. 宏观纹理可以看作是大量局部微观模式的重复, 选择的局部微观模式的统计可以表征整个纹理.真实 图像中的宏观纹理结构可能由许多不同的局部二值微 输入图像 PCA 分析 获取像素点灰度值 计算三种 CLBC 算子 获得 CLBC 纹理特征谱 计算 CLBC 直方图特征 CLBC 纹理特征谱的 HOG 计算 HOG-CLBC 特征融合 HIKSVM 分类器 计算图像 HOG 特征 图1基于改进 HOG-CLBC 的行人检测算法流程图 Fig.

1 Flow chart of extended HOG-CLBC for pedstrain detection 图2LBC 的编码原理 Fig.

2 LBC coding principle LBC code

4 Threshold

56 24

82 78

52 56

51 56

66 55

0 1

1 0

0 1

1 0 光电工程 DOI: 10.12086/oee.2018.180111 180111-4 结构组成.不同的宏观纹理结构可能由许多相似的微 观结构组成,但这些微观结构出现的频率是不同的. 因此, 宏观纹理结构可以通过微观结构的统计来表征, 而不是微观结构本身.通常认为局部二值模式可以通 过检测 微观结构 来有效地表征局部纹理.但这些 微观结构并不直接表示宏观纹理结构.LBP 通过使用 局部二进制编码来有效地表征局部像素的分布.虽然 LBC 码不表示视觉微观结构, 但LBC 特征可以区分局 部像素的不同分布.因此,LBC 特征的统计也可以用 来表示宏观纹理结构. 2.3 完备的局部二值计数(CLBC) 与CLBP 类似,本文使用完备的局部二进制计数 (completed local binary count, CLBC)来提取完整的局 部........