PDF《多触点交互桌面左右手区分方法》

国家自然科学基金(61173059, 61103096, 61135003);

国家高技 术研究发展计划(863)(2012AA02A608) 收稿时间: 2013-03-04;

定稿时间: 2013-04-22

940 Journal of Software 软件学报 Vol.25, No.5, May

2014 Key words: interactive tabletop;

multi-touch;

interactive technology;

human-computer interaction;

left-right hand distinction 随着普适计算、人机交互、计算机辅助协同设计等技术的不断发展,产生了以传统围桌为隐喻的多触点数 字化交互桌面.此类数字设备使人们摆脱了鼠标键盘的束缚,可使用类似于日常操作桌面物体的方式直观、自 然地操作数字内容.交互桌面在教育、医疗、设计、军事、娱乐等领域均有广阔的应用前景. 交互桌面使用自然的多指手势作为其主要的交互方式.对现有交互桌面手势交互技术进行总结可发现[1,2] , 目前,交互桌面上使用的多为单手多指手势如多指放大、缩小、拖动,或者双手对称手势如双手放缩、旋转等, 双手非对称交互用得很少.然而,文献[3]研究表明,在日常生活中,单手行为和双手对称行为数量较少,双手非对 称行为是人们使用最多,也是最自然的行为.在文献[4,5]中,双手非对称交互技术的使用也间接地说明了交互桌 面上使用双手非对称交互的自然性和直观性.此外,文献[3]中还指出,双手非对称交互中,左右手之间的分工会 对任务的完成产生很大的影响.对于交互桌面,使其支持双手非对称交互的一个关键点为区分用户的左右手,为 触点提供左右手信息,在此基础上才可为左右手分配不同的任务. 然而,目前主流的交互桌面系统[6,7] 只能提供手指触点的位置和形状信息,触点的左右手归属信息通常均需 凭借额外的硬件设备[8?10] ,或者会对用户的交互有所限制,如使用某只手交互之前必须同时使用

5 个手指进行 手指注册[11] .本文从交互桌面的交互特征出发,以Nielsen 的手势设计原则[12] 为指导,提出了交互桌面手-臂系统 三角形模型,并定义了交互桌面用户双手交互的手势空间,以此为基础,提出了多触点交互桌面同手触点聚类方 法及左右手识别方法.该方法基于人机工效学原理,无需借助辅助的硬件设备,可在用户自然交互输入的起始时 刻提取单个或者多个手指的左右手信息. 本文的主要贡献如下:其一,提出了适用于交互桌面交互的手-臂系统三角形模型;

其二,提出了一种交互桌 面同手触点聚类方法;

其三,提出了一种交互桌面左右手识别方法;

其四,对多触点跟踪包 MTDriver[13] 进行扩展, 实现了可发送触点左右手信息的 EMTDriver;

其五,设计了一系列基于左右手信息的交互桌面双手非对称交互 技术.

1 相关工作 基于计算机视觉方式的交互桌面,由于成本低廉、实现简单,已成为目前构建交互桌面的主流方式.其实现 原理主要有 FTIR 技术[6] 、DI 技术[7] 、LLP 技术[7] 等.此类系统能够捕获用户输入的触点斑点信息,并通过触点 检测跟踪等处理,提供触点位置、触摸面积等信息,但通常不包括触点左右手归属信息.Diamondtouch[14] 采用电 容传感的方式检测用户输入,而且通过把人和座椅连接到传感回路中,可判断某一输入来源于哪位用户,但只提 供用户身份信息并不包括具体的左右手信息. 获取交互桌面触点手的信息可进一步增强交互桌面系统的交互能力,这已经引起了研究人员的极大兴趣. Benko 等人[15] 使用肌肉传感器感知用户当前手指的运动,使用该方法可提取单个手的手指信息,如当前点为食 指或者中指,但不能判断当前点的左右手归属.Marquardt 等人[8] 使用 fiduciary-tagged glove 可识别用户手各部 分的信息,如指尖、手掌、手背、手的侧面,区别同一用户的不同手以及多个用户的手.Dohse 等人[9] 通过在交互 桌面上方添加摄像头来跟踪用户的手,将触点检测和手跟踪的结果相结合来获取触点所属手信息.类似地, Wilson 等人[10] 在桌面顶部添加深度相机,利用深度相机获取手指触点所属用户、用户手臂及用户手的信息. Murugappan 等人[16] 也利用桌面顶部深度相机获取触点手归属、手的左右手手性以及手姿势等信息.这些方法 虽然可以提供用户左右手信息,但需要额外的硬件设备,一方面增加了系统的成本,另一方面也增加了系统的复 杂度. 提取手信息也有一些基于软件的方法.Dang 等人[17] 利用手指触点距离、方向和运动信息来区分当前输入 触点是来自于同手还是不同手.本文利用的触点信息与该方法相类似,但本文在触点信息的基础上还添加了用 户的行为习惯和人体工学约束信息,这使得本文算法不仅可以判断触点是否来自于同手,而且可以判断该手是 左手还是右手.Franks 等人[18] 利用人手解剖学特征构建了人手的经验模型,并构造了决策树分类器来区分用户 刘佳升 等:多触点交互桌面左右手区分方法