PDF《自然环境下日常动作的在线识别》

自然环境下日常动作的在线识别 曹媛媛1 ,黄飞跃2 ,陶霖密1 ,徐光

1 (1.

普适计算教育部重点实验室 ,清华大学计算机系 ,北京

100084 ;

2. 腾讯研究院 ,北京 100080) 摘要: 自然环境下的日常动作识别有着广泛的应用前景和重要的研究价值. 不同于以往在结构化和孤立条件 下进行的动作识别 ,自然环境下的日常动作是连续的 ,视角多变并常发生遮挡. 本文提出了分布式视觉系统下日常动 作的在线识别方法. 时间轴上的滑动窗口每个时刻取一段视频帧 ,采用基于 包容形状 的视角无关的体态表示方法提 取体态特征向量 ,并用隐马尔科夫模型进行识别. 动作类型的搜索空间由环境知识推理得到. 遮挡检测和部分遮挡下 的体态表示也在文中进行了讨论. 实验表明本文提出的日常动作的在线识别方法能够克服日常场景给动作识别带来 的困难 ,结果证实了方法的有效性. 关键词 : 动作识别 ;

视角不变 ;

遮挡检测 中图分类号 : TP391 文献标识码 : A 文章编号 :

037222112 (2009) 4A2016206 On2Line Recognition of Actions in Daily Living CAO Yuan2yuan1 ,HUANG Fei2yue2 ,TAO Lin2mi1 ,XU Guang2you1 (1. Key Laboratory of Pervasive Computing of Ministry of Education , Department of Computer Science and Technology , Tsinghua University , Beijing 100084;

2. Tencent Research , Beijing 100080) Abstract : Recognition of actions in daily living is challenging because : (1) actions are continuous ;

(2) human location is changeful ;

(3) human body is partially occluded sometimes. This paper proposes a multi2view framework for on2line recognition of actions in daily living. Action representation based on Envelope shape enables view2invariant action recognition. A sliding window concatenates the feature vectors for action representation into a stream as the input to a bank of HMMs. A maximum likelihood based classifier detects action. The HMMs are chosen by an ontology based environment knowledge model. Besides ,occlusion detec2 tion and action representation in occlusion are also discussed. Implementations demonstrate the efficacy of our approach. Key words : action recognition;

view invariant ;

occlusion detection

1 引言 动作识别一直是计算机视觉和人机交互领域重要 的研究方向. 目前在这方面的研究大多数假设是在结构 化和孤立(constructed and isolated) 条件下进行 ,如 ,手势 命令的识别. 而随着视觉监控、 老年人看护系统、 智能厨 房、 智能会议室等新应用的不断产生 ,对自然环境和现 实生活中的动作识别已成为新的研究热点 ,这类动作是 连续的 ,位置视角多变的 ,而且活动范围广 ,与环境有频 繁交互. 如 ,老人看护中所需要的是对自然和连续的大 范围场景中的动作的识别. 与传统的动作识别相比 ,自 然环境下的动作识别面临着如下难题 :如何克服由于视 角 ,距离 ,遮挡等多种因素带来的干扰和不确定性 ;

如何 实现对连续动作的在线识别 ;

如何有效利用环境信息. 本文针对以上问题提出了能够适应视角变化、 距离变 化、 并能处理部分遮挡的连续动作的在线识别方法. 对动作的识别其实是对一段时间上的体态特征序 列的分类和识别 ,因此体态表示成为动作识别中最基本 也最关键的问题. 在自然环境中 ,我们不能限制人体的 移动和转动 ,因此体态表示需要能够容忍视角、 距离的 变化和部分遮挡的情况. 由于距离和部分遮挡的问题可 以通过摄像机规划来解决 ,所以重点讨论视角无关的动 作识别. 视角不变的方法有这样的两难问题 :为了容忍 视角的变化 ,通常会存在信息的损耗 ,这将造成动作区 分度的降低. 如何使得体态的表示可以在容忍视角的变 化同时又保留足够的可区分信息是一个关键的问题. 目前已经提出了一些视角不变的动作识别方法. 三 维模型通常是视角无关的 ,Campbell[1] 等人提出的基于 立体视觉数据的三维手势识别系统. Jin[2] 建立了基于 三维模型的动作识别系统. 三维模型通常参数多 ,训练 收稿日期 :2008211206 ;