PDF《文件编号：[TEAMNAME]-SWC2018-[》

101 个人类行为类别,如运动、乐器和人物交互等.国内外研究人员在 UCF-101 数据集上进行了深入研究,目前最好的准确率已经达到 95%以上. 2.4 数据需求 静态数据是 UCF101 的和 HUMDB 这两个数据集,动态数据是场景分类的数据 集.由于迭代收敛的高效性,因此场景分类的数据集可以第三方更改,训练属于 用户本身生活场景的数据集,因此可以动态增加与减少. 2.5 其他需求 环境需求,本项目的服务器是假设在 Ubuntu 环境下,并且嫁接了 C#作为中 央处理服务器,因此需要安装 mono 跨平台开发环境,以及 Unity3D 同时, 安卓开发使用了相对古老的 android-17, 因此在高点的平台上, 可能 出现不兼容等问题,建议配置 android studio 1.3 版本

三、系统设计 3.1 系统全局架构 3.2 系统主要功能模块结构 3.2.1 数据采集模块 数据采集模块的功能主要是通过 PC 端进行视频录制来模拟监控过程,将得 到的视频经过处理转为一帧帧图片,然后将连续的图片信息发送给服务器,如果 收到图片,服务器会进行信息反馈. 人体动作采集 周围环境采集 数据采集层 危险预警 语音录制 应用层 实时定位 动作识别 环境识别 中央集控 核心技术层 异常反馈 鹰眼追踪 3.2.2 动作异常识别模块 动作异常识别模块的功能主要是对所接收的图片进行特征提取, 利用 ffmpeg 库提取 Motion vector,训练可靠的基于 Intel caffe 的人体动作识别模型,对动作 进行分类, 如果某动作被认为是动作异常类例如拳击及高空坠落等,那么则反馈 给PC 端提示动作异常,并将动作分类结果发布. 3.2.3 场景异常识别模块 场景异常识别模块的功能主要是对所接收的图片进行特征提取, 在自定义正 常的场景特征后, 调用场景异常检测算法对图片中的场景进行判断,如果被认定 为异常场景,那么 PC 端提示场景异常. 3.2.4 异常预警模块 场景异常识别模块的功能主要是 PC 端判定行为异常或者场景异常,那么则 发送安全预警给监护人, 并发送实时定位信息以及鹰眼追踪信息, 以提高安全性. 3.3 作品目标实现形式 针对 如何保障弱势群体的人身安全 这一问题,我们建立了实时的动作识 别和场景异常检测模型, 利用电脑摄像头模拟监控设备的正常运作,将视频进行 实时传输, 对人体轮廓特征及环境特征进行提取, 训练可靠的人体动作识别模型, 并通过异常检测算法进行判断,同时可在 PC 端查看对于监控影像数据的分析, 在安卓端收到危险动作的预警和 10s 自动录音记录及实时定位和鹰眼追踪信息 的反馈. 3.4 接口设计 server 程序具有很强的可扩展性,通过增加 logic 层,可以很大程度的扩展 服务器可以处理的应用.因此我们可以轻易的增加用户层,实现多用户.同时可 以扩展很多功能.同时可以与更多的设备进行连接.通过增加服务器性能,可以 对服务器性能限制进行扩展.整个程序架构使用的是 MVC 架构,前端与后台进 行分离, 互不影响. 并且封装了完整的 dll 库, 用于多状态引用, 可维护性较高. 3.4.1 软件接口 软件接口,基于 sign_graphic 的绘图工具,基于百度地图的 SDK,鹰眼轨 迹SDK,地图定位 SDK,服务器群发接口,服务器单发接口,服务器转发接口, 数据序列化与反序列化接口,录音功能接口 3.4.2 硬件接口 暂无硬件接口需求

四、技术实现 4.1 对Intel Caffe 的合理增强 该项目的 caffe 模型需要搭建在 ffmpeg2.7.2 的特定环境中, 以及 opencv2.42. 不然会出现编译错误.百度 sdk,需要进行整体下载,单独下载会出现依赖包冲 突问题. C#无法通过 Iropython 调用 numpy 的库, 也就直接导致了无法通过 python 直接调用模型,进行运算. 利用双流 CNN 模型对视频中的动作进行分类, 在PC 端进行视频录制后传给 服务器,训练可靠的人体动作识别模型,即可对人体行为进行分类,具有较强的 鲁棒性.在传统的基于双流的动作识别模型的基础上,使用运动矢量(MV)来 代替 OF.在视频流中 MV 可以直接提取而不需要额外的计算,然而,由于噪声 和MV 中缺少细节,直接用 MV 训练 CNN 会严重降低准确性.为了解决这个问 题,我们开发深度转移 MV CNN,并提出了四种训练策略,利用 OF CNN 学到的 知识提高 MV CNN 的准确性. 我们的方法比基于 OF 的方法快得多, 并且达到了每秒 390.7 帧的处理速度, 甚至超过了实时要求. Real-Time Action Recognition With Deeply Transferred Motion Vector CNNs [Published in: IEEE Transactions on Image Processing ,May