PDF《稳定运动物体视频的特征方法》

第 熬〉 捌 材 霸 光学 精密工程 钇钇 ∈崭迦掌 修订日期 』鹣钅 国家 持氐慊⊙芯糠⒄辜苹手钅 恢醒敫咝；

究蒲幸滴穹炎ㄏ罨鹱手 项目 ┪恼卤嗪 凑 肝榷ㄔ硕锾迨悠档奶卣鞣椒 邱家涛湾 李玉山 初秀琴 刘⊙ 倪乐真 西安电子科技大学 电路 难芯克 陕西 西安 摘要 将背景特征块配对和直方图聚类运动矢量滤波相结合 提出了一种稳定运动物体视频的方法Ｓ玫玫降娜衷硕 参量补偿摄像机的帧间运动 运用帧差法分割出前景块和背景块 把参考帧背景上的特征块与当前帧上的特征块配对估 计下一轮的帧间运动Ｓ靡豢槎远嗫榈钠ヅ洳呗 把参考块和以参考块为中心的搜索窗内的当前帧上的最佳匹配块配 对⑾∈柙硕噶砍Ｈ缓 运用直方图聚类方法滤除矢量场中未分离出的前景块矢量和误匹配矢量Ｗ詈 用多 个包含运动物体的实际视频序列对提出方法进行测试 并与其它先进稳像算法和技术仿真比较＝峁砻 提出方法的 全局平均帧间变换保真度可达 接近或优于上述先进算法和技术Ｌ岢龅姆椒ǘ园硕锾宓氖悠稻哂薪 强的鲁棒性梢匀コ〖涓咂刀抖⒂行Ц纳剖悠抵柿 关〖〈 电子稳像 视频稳像 全局运动估计 运动矢量 特征块匹配 运动检测 中图分类号 ∥南妆晔堵 钇 钇 锿 斩钇 伸 ┩ 钇 肫 钇 锲 钇 钇 钇 淦 钇 迤迤 肫 财 迤 钇 钇 迤 迤 钇 锲 钇 钇 钇 炱 槠 炱 槠 钇 槠 崞黄 钇 ∫⊙ 〗昀 手持视频相机被广泛用于拍摄个人 视频剪辑 不过拍摄过程中手的颤震易输出抖动 的图像造成视频质量降低２还迷硕衅骷 测相机抖动并相应控制棱镜或者 哟衅鹘 行物理补偿 蛴玫缱游认 崞 ┘际蹩刹钩ゲ恍 要的图像抖动 用数字图 像处理稳定图像的方法由巢阶槌 全局运动估计 运动参量平滑和图像变换５ 一步全局运动估计获取图像的帧间变换参量 是 一个关键稳像步骤 其准确度影响后续的运动参 量平滑和图像变换Ｏ钟械脑硕兰扑惴ù笾驴 分为两类 直接利用像素灰度信息的直接方法 莺突谕枷裉卣鞯姆椒 Ｎ榷ò硕锾宓氖悠敌蛄 用局部运动 矢量进行全局运动参量拟合 通常还需滤除运动 物体上的局部运动矢量Ｎ榷ù酥质悠敌蛄薪 全局模型参量拟合的方法大致有以下几类Ｎ南 萦 一种简化的迭代最小平方法 斓 计算最终的全局运动参量 但不能 稳定包含较大运动物体的视频Ｔ擞盟婊檠 致 ┓椒心Ｐ筒瘟康哪夂 在一些限定条件下可 以取得不错的效果 但此法随机性强 有时达到预 定的最大迭代次数也不收敛 从而得到错误的运 动参量估计Ｎ南 菸胧悠迪嗷岢隽艘 种集成数字稳像器和视频编码器的方法 运用直 方图聚类方法滤除运动物体上的局部运动矢量 稳定运动物体视频有一定的鲁棒性 但只采用了 平移全局运动模型而没有考虑转动Ｎ南 用 一种基于背景补偿和帧差法的运动区域检测方法 得到背景块 跟踪背景块来估计帧间全局运动参 量 但稳定包含较平坦运动物体的视频序列 会存 在孔径问题Ｕ攵园硕锾迨悠敌蛄械奈认 问题 本文把前后帧差分运动区域检测和三维直 方图运动矢量滤波相结合 提出了一种鲁棒的全 局运动估计方法 形成一种新颖的特征稳像方法 提出的全局运动估计方法为 ┯萌衷硕瘟坎钩ケ尘霸硕玫皆硕 偿帧 ┰擞弥〖洳罘衷硕蚣觳夥椒ㄌ崛〔慰 帧上 的背景块 背景块上提取特征点和特征块 ┮砸豢槎远嗫榈姆绞狡ヅ洳慰贾∩系奶卣 块与当前帧上的特征块 得到稀疏运动矢量场 ┯萌狈酵季劾喾椒顺赐耆掷氤 的运动物体上的特征块矢量和误匹配矢量 ┌丫狈酵季劾嗦瞬ê蟮脑硕噶 作为 线性最小平方方法的输入 计算最终的全局运动 参量 最后 用多个包含运动物体的视频序列对提 出的稳像方法进行测试 结果表明提出方法稳定 可靠 可有效稳定包含运动物体的视频序列 √岢龅奈榷ㄔ硕锾迨悠档奶卣 方法 √卣骺榧觳庥胙∪ 用运动区域检测方法检测出参考帧中的运动 物体和背景 在背景上均匀提取特征点和特征块 并把这些特征块与当前帧上的特征块配对得到运 动矢量场 对灰度图像进行预处理 先平滑去噪然后锐 化 以提取较好的特征点Ｌ卣鞯慵觳庥 笏阕 庵炙阕邮苄藕糯碇凶韵喙睾钠 发 给出与自相关函数相联系的矩阵 阵的 特征值是自相关函数的曲率 如果两个曲率值都 很高 认为该点是角点 笏阕拥募扑阒簧 及图像的一阶导数 角点响应函数为 ┢渲 饺布裼鹪 驳 捌 ∏窦姨 等 稳定运动物体视频的特征方法 式 ┲泻头直鹗峭枷 和 方向的梯度 为高斯模板 热表示卷积算子 卷积运算表示对 和 高斯滤波 搴 舴直鹞卣 的迹和行列式 参考帧 的候选特征点在其背景块上 提取 以一个小块内具有最大响应值 的点作为 候选特征点Ｈ缤 讯杂Σ慰贾〉木灾 差图像划分成一系列的块 运用运动区域检测方 法把这些块分成前景块和背景块 图 ┲谐 标和导线外略亮的方块为检测到的背景块 再把 这些块细分为小块 寻找每个背景小块上的最大 值点 并对这些最大 值做阈值化处理 得到 高于 阈值的若干个最大值点 仅保留其中的局部极 大值点玫礁龅闷渥槌刹慰贾〉奶卣鞯慵 Ｒ 个确定特征点的结果如图 以特征点为中心确定特征块 本文 特征块为 暗目 在当前帧 整个像面上进行特征点检测 对上的值作妨 域上的非极大值抑制处┚灾〔钔枷 崞┨卣鞯慵觳 ┲狈酵 锲硗 〔慰贾〉木灾〔钔枷窈吞卣鞯慵觳馐纠 槠 崞 謇 得到 个极大值点构成当前帧的特征点集Ｒ愿玫慵械奶卣鞯阄行娜范ㄌ卣骺 本 文采用 暗目 〖觳庠硕蚩刹捎帽尘凹醭 莼蚱渌 的方法 １疚挠靡恢址挚橹〔罘ǚ指畛鲈硕 域Ｓ霉兰频牡 敝〉娜衷硕瘟 圆钩ケ尘暗脑硕 即用 ┑ 的变换矩阵 舶 变换成补偿帧 部杀硎疚 惫〖扑阍硕钩ブ 与 的绝对帧 差图像 “ 分割成前景块和背景块 从背景区 域中选取参考特征块用于下一轮的全局运动估计 采用如下的绝对帧差图像分割方法Ｈ缤 划分成一系列的方块 每个方块 的平均绝对差值 为 ┦ ┲姓 表示方块 中的像素的个数 用这 些方块的 构建一个矢量 」庋【芄こ 第 熬 式 ┲脖硎居墒笛槿范ǖ母咚姑芏群姆 差Ｗ詈笸臣剖噶 中的元素构建直方图 即 」菇ㄖ狈酵 的一个示例如图 煤嶂 上阈值 将 分成两类 和 栖 直鸲杂τ谠硕勘旰捅尘 用莘椒ㄇ笕≈狈酵 的最优阈值 湾和 蚱 财 ┦ ┲ 和 分别表示两类的数学期望 和 分别表示两类的概率 用醴椒ǖ你兄低宸指罹灾〔钔枷 的一个示例如图 ┖ 硕锾逦 鼠标和导线？梢怨鄄斐 尽管这种前后帧差分 运动检测方法可分离出大部分的运动物体 在孔径问题 即不能把运动物体平坦区域上的块 分离出来颜庑┛槭噶颗懦谌衷硕瘟 拟合之外 尚需对其做进一步的滤波处理 用估计的全局运动参量补偿背景的运动 须 保证全局运动参量的可靠性 否则全局运动参量 误估计会在后续图像帧中传播２扇∫韵路椒ǚ 止此类错误的发生绻兰频牡 帧全局运动 参量 错误蛴 得到的运动补偿帧 与┘ 的绝对差值和┗岱⑸槐 据此判断得到的 全局运动参量的可靠性 定义判别式 ┦ 中 表示第 帧绝对帧差图像 中所有方块 用式 计 算┑ 和 表示第 帧绝对帧差图像所有 方块 牡暮Ｈ绻 发生突变 会大于阈值 可用前 一帧的全局运动参量 贝 狡 ┦ ┲ 是对当前帧全局运动参量 的置信 度 右端的初始是所有方块 的和 式 ┯糜谄交 以计算下一轮的 值 本文 √卣骺樵硕噶抗兰 本文只估计视频序列的帧间全局运动 帧间 全局运动可近似认为是背景的平移 小角度的旋 转和缩放运动 且特征块选得较小 可用平移运动 近似特征块的帧间运动 为防止特征块匹配过程的搜索陷入局部极值 点 采用了一块对多块的匹配方式Ｌ崛〔慰贾 鄙系牟慰继卣骺榈淖 把当前帧 上以该 坐标为中心的搜索窗内的所有特征块 均当成该 参考块的 候选配对块 并与之匹配 如图Ｓ 表示 敝械牟慰伎 钡淖 用 表示 中的候选配对块 钡淖Ｔ 中 以 为中心的搜 索窗内的候选配对块为 从这些块中找出与 弊钕嗨频目 作为其配对 敝∷阉鞔 ┲∷阉鞔 图 √卣骺榕涠允疽馔 槠 钇煳跣〉途鹊奶卣鞯愕挠跋 候选配对块 在以其坐标为中心的方形邻域内滑动 每个滑动 到新位置的块均与参考块 逼ヅ 用具有最小绝 对差值和 牡幕槿〈蜓∨涠钥 并用 其 牡弊鞲煤蜓∨涠钥橛 钡南嗨贫 用绝对差值和 牟饬刻卣骺榧涞南嗨贫 逼 逼 ㄆ 财 栖财 ┦ ┲ 栖 财 表示特征块的大小 索窗内候选配对块 的坐标表示为 彩窃蜓∨涠钥 滑动到新位置 栖 栖┖蟮玫降 表示块 庇 驳木圆钪岛 捕驳钠剖噶课 湾 ┢渲 捕钡钠剖噶课 栖 栖 ┘扑愫 选配对块驳乃谢灿钡米钚〉 牡弊骺 灿钡南嗨贫 驳 捌 ∏窦姨 等 稳定运动物体视频的特征方法 ┢涠杂Φ钠剖噶康弊骺 捕钡钠剖噶 蚱 「菟阉鞔澳诘暮蜓∨涠钥橛肟 钡南嗨 度 可以确定 钡呐涠钥 蚱 ┡涠钥 捕钡钠剖噶课 ≌庖慌涠怨瘫槔慰贾〉奶卣鞯慵 中的每一个特征点 即用其上的特征 块与当前帧的特征块匹配 从而得到稀疏运动矢 量场的匹配点对集合 ┒杂诖 抖动ù笃揭屏壳倚嵌炔怀┦悠敌蛄谢蛘咧÷式系偷氖悠敌蛄 帧间平移 量较大 需要用某种方法粗略估计帧间平移量并 补偿之 以缩小特征匹配搜索范围减少误匹配 本文用过去的全局运动参量预测当前帧的全局运 动参量 设 到 的全局运动参量为 采用粗衷げ 的模型 崞崞 ∪绻阆窕Ｖ乖硕 零预测模型较准确 过 去预测模型对应摄像机匀速运动 加速预测模型 对应摄像机加速或者减速运动 平均预测模型滤 除摄像机的突变运动Ｓ檬 的各个 模型 把 变换 成运动补偿帧 扑闫湎嘤Φ 与 间的 从中选择具有最 小 牡淖魑鼻爸〉娜衷硕瘟吭げ 用其平移量作为当前帧平移量的粗略估计并补偿 之 ≡硕噶柯瞬ê腿衷硕瘟考扑 为了兼顾实时性和准确性 用相似变换模型 计算帧间全局运动参量 表示为 钇钇笃┦ ┲ ┍硎静慰贾 敝械牡 ┍硎镜鼻爸 中的对应点 表示缩放系数 表 示旋转角度 和 分别表示 方向和 方向 上的平移量 本文采用直方图聚类方法滤除矢量场 中 的误匹配矢量和未分离出的运动物体上的运动矢 量２捎檬 每两对匹配点对就可得到一个 全局运动参量 把匹配点对集合 中的 种元 素组合都代入式 部傻玫 个全局运动参 量样本 缓笥谜庑┤衷硕瘟恐 的⒑凸菇ㄒ桓鋈闹狈酵 如图 把 落入直方图密度最大的 畹车牧诮 间的 ⒑退杂Φ脑硕噶慷嫉弊髂诘 把内点矢量对应的点对的坐标代入式 ┑玫揭 个冗余方程组 并应用线性最小平方方法得到最 终的全局运动参量 Ｍ ∑揭坪托嵌炔问占涞难 槠 ∪衷硕瘟科交屯枷癖浠 求出序列所有的帧间全局运动参量得到全局 运动参量链 然后用如文献 莸脑硕瘟科交 法对其滤波 滤除高频抖动分量而保留摄像机的 有意扫描运动分量 从而补偿原视频序列的抖动 而输出连续稳定的视频序列６杂诒尘肮潭ǖ氖 频序列 如果序列的帧数不多 可用第一帧作为参 考帧进行图像补偿 ∈笛橛虢峁治 ∥橹ぬ岢鑫认穹椒ǖ穆嘲粜院妥既沸 用 多个包含运动物体的视频序列对其进行测试 并 把提出方法与最小平方稳像方法 新视频稳定技 术 莺兔夥盐认袢砑 ┙斜冉 用式 ┑脑硕瘟吭げ夥椒ㄏ却致怨兰浦 间平移量并补偿之 以缩小特征匹配搜索范围 」庋【芄こ 第 熬 钇 序列和钇 序列的背 景都较平坦 在钇 ┬蛄兄 水 果在桌子上滚动 钇残蛄兄 一 个布满纹理的轮子渐渐滚入场景 对此二序列实 施稳像有一定的难度Ｎ榷 钇 视 频序列实验结果的几帧示例如图 蛉 件得到的全局帧间运动参量会受到水果上局部运 动矢量的影响岣嫠脑硕 如图 而提出的把运动区域检测和三维直方图运动矢量 滤波结合的方法 有较好的稳像效果 如图 ０讶烤植吭硕噶孔魑Ｐ筒瘟磕夂鲜淙氲淖 小平方稳像方法 在运动物体不大时稳像性能较 ┰枷 槠崞蛉砑奈榷ㄍ枷 崞 ┨岢龇椒ǖ奈榷ㄍ枷 崞 渫 √岢龇椒ㄐ阅艿氖泳跗拦 应用于 钇毙蛄 槠 钇 ┖ 而稳定较大运动物体视频的效果较差Ｔ擞 运动区域检测方法滤除运动物体上的局部运动矢 量 得到背景上的运动矢量和一部分未分离出的 运动物体上的矢量 对其应用线性最小平方方法 得到最终的全局运动参量 此法应用于 逍 列 的稳像示例如图 梢怨鄄斐龅 仓⊥ 像向右偏移 第 敝⊥枷裣蛳缕 也会跟随 鼠标的运动 而提出方法进一步用三维直方图聚 类方法滤除未分离出的运动物体上的矢量和误匹 配矢量 经此滤波后的运动矢量作为最小平方方 法的输入 有较好的稳像效果 如图 ┰枷 槠崞┳钚∑椒椒椒ǖ奈榷ㄍ枷 崞 ┨岢龇椒ǖ奈榷ㄍ枷 崞 渫√岢龇椒ㄐ阅艿氖泳跗拦 应用于 逍蛄 槠 ┪徊 对提出稳 像方法进行有效性的验证 如文献 和 用帧间变换保真度 驳 捌 ∏窦姨 等 稳定运动物体视频的特征方法 对稳像效果 进行了定量评估 视频序列的 瓶啥ㄒ逦 ┦街 表示参考帧 庇氲鼻爸 间的 峰值信噪比值 采用如文献 莺 莸谋尘安罘 规则计算 表示视频序列包含的帧数 因为稳 定视频序列的图像帧比原抖动视频序列的连续 稳定视频序列的 浦涤Φ备哂谠抖悠敌 列的值 表 持址椒ǖ闹〖浔浠槐Ｕ娑缺冉 图像序列 原序列 绿岢龇椒 蛉砑 挛南 莘椒 钇 踩制骄 ∮帽疚奶岢龇椒 文献 方法和 蛭认袢砑榷 个视频序列的 浦档亩员热 表＝峁砻蹈鍪悠敌蛄形认窈蟮 浦当 稳像前的值均有提高 提出方法的全局平均 浦悼纱 高于文献 方法的值 低于 虻闹 达到先进稳像方法的水平＞」 虻奈认褡 确度较高 但其鲁棒性较差 如对 钇崩嗟氖悠挡荒芪认 〗÷ ”疚囊砸恢 确定性方式消除运动物体的影响 提出了一种稳定运动物体视频的特征算法 用背景补偿和帧差法分割出运动物体 把背景上 的参考特征块与当前帧的特征块配对得到特征块 运动矢量 并运用直方图聚类方法滤除未分离运 动物体矢量和误匹配矢量Ｓ枚喔霭硕锾 的实际视频序列对提出稳像方法进行测试 并与 先进的视频稳像方法仿真对比＝峁砻 提出 方法的全局平均 浦悼纱 与先进稳 像方法的水平相当 对视频序列稳像结果的主观 视觉效果和客观定量评估表明了提出稳像方法的 有效性Ｏ乱徊焦ぷ髯急覆捎酶既返脑硕 检测方法 以进一步增强提出方法对运动物体的 鲁棒性 也需要对估计的特征块矢量运用抛物线 类的插值运算 以达到亚像素级的精确度 参考文献 ≌ 跃 进 连铜淑 聚光路中的三轴稳像棱镜组庋аП 崞钇 钇 蚱 槠 ≌院煊鸷芫缱游认窦际醺攀 学 精密工程 斩 崞 § 槠崞 迤 斓 崞 迤 崞钇 ∏窦姨钣裆醪柿 等恢只诩觳饪槎 选择的稳像 算 法 子学报 斓 渺 崞 炱 ∷锘焖倩.