PDF《跨区域实时视频监控系统》

案例研究 英特尔? Apache Hadoop*发行版 跨区域实时视频监控系统 上海理想结合中国电信 全球眼 数字视频监控系统应用需求,通过使用英特尔? Apache Hadoop*发行版以实现实时分 析和存储 中国电信上海理想信息产业(集团)有限公司,属于中国电信全资子公司.

上海理想以网 络系统集成、应用软件集成、软件产品研发为核心业务,致力于成为顶尖的中国IT服务提 供商. 挑战 ? 分布式分析.实时分析分区部署的摄像头的视频内容. ? 高效的存储.获得一款可线性扩展且具备冗余故障转移能力的存储和处理解决方案. 解决方案 ? 并行化Hadoop视频处理.在至强服务器平台上部署英特尔Apache Hadoop发行版,可以动 态添加新的处理节点,而不会降低视频搜索性能. 影响 ? 提高性能.得益于英特尔Hadoop发行版针对英特尔硬件平台做出全面优化,使基于英特尔 服务器平台的 全球眼 系统的性能也得以进一步提升. ? 精细的作业控制.面向 Apache Hadoop 的英特尔? 管理器提供了卓有成效的带有自动备份功 能的跨节点工作资源调度. 面向大众的视频监控 视频监控系统已成为城市环境中的一种标准做法,旨在帮助协调应急响应,引导交通,并 加强公民的人身安全.针对 全球眼 数字监控业务系统的需求,理想公司将以前独立的 图像采集点的图像信息连接到宽带网络视频监控平台.借助这种集中式架构和一个多层分 布式存储系统,可有效提升系统平台处理能力.. 视频监控已成为了社会化服务和保障的重要组成部分. 上海理想研发中心丁富强博士 这样说道, 大到水坝值守,小到超市监控,数字化视频监控系统已如雨后春笋一般在我 们身边铺开,确保了高效的监控和信息传输.但传统的视频监控系统都是单一的,各系统 之间往往互不连通.中国电信 全球眼 业务正为了解决这一不足而推出. 经过多年的发展, 全球眼 已在多个省市的不同行业中得到了广泛的应用,例如:企业、公共机构和行政机构.这些组织必须监控分布在不同地理位置的活动. 全球眼 可 在全市范围内提供数以千计的监视点,提供方便和精确的视频数据,它已成为各公司不可 或缺的资产. 但在使用以前的技术实现全球眼数字监控系统时也遇到了一系列困难.例如,由于新的摄 像头节点增加了 全球眼 的背景数据入口负荷,使得数据吞吐量大幅提高,已使分析应 用平台不堪重负.上海理想选择Intel作为自己的技术合作伙伴,推出了一个更高效的数据 处理解决方案. 通过引入英特尔?至强TM处理器和英特尔?ApacheHadoop发行版到我们的 全 球眼 并行海量视频分析和 应用平台,我们的系统的查 询和分析能力提高了10倍以 上,为我们的解决方案提供 了更有力的支持. 丁富强博士 研发中心 上海理想信息产业(集团)有限公司 英特尔优化的大数据处理解决方案 由于全球眼是一个进行视频并行处理,存 储和分析的平台,因此,它要求的数据密 集型分布式处理跨区域服务器. Apache Hadoop平台非常适合这一要求. 在不关 闭系统的情况下,Hadoop的大数据处理框 架提供动态向外扩展容量的能力.当视频 导入该系统时,可以实时的增加处理节点 而不降低视频搜索性能. 基于英特尔至强处理强大的处理性能和 吞吐能力,上海理想选择了英特尔Apache Hadoop发行版部署在其系统.英特尔软件 团队也对开源Hadoop协议栈进行了优化, 使其能够充分利用的英特尔?至强TM 处理器 系列的先进技术如指令集SSE4.2,来获得更 出色的表现. 由于Hadoop代码为高度分布式,可以成 倍增加整个基础架构的编码效率,提高服 务器和存储控制器的性能,能耗和能力要 求.配合英特尔至强处理器系列高CPU和I/ O性能,英特尔分布式系统的优化还可 以降低网络的影响. 英特尔大数据处理优化解决方案 NETWORK STORAGE COMPUTE 管理和监控功能通过英特尔ApacheHadoop Manager英特尔的图形界面来实 现.可通过英特尔Hadoop Manager集中控 制从系统安装、配置到参数调优的综合管 理任务.对于管理员定义的主要阈值或主 要网络事件可以实现主动报警设置,以确 保可靠性.可为集群中的每个节点提供实 时健康检查. 找到适合于您公司的解决方案.请与您的 英特尔代表联系,访问英特尔IT管理成功 案例(www.intel.com/itcasestudies),或 访问英特尔IT中心网站(http://www.intel. com/itcenter) 本文档及其信息供英特尔客户的便利之用, 按现状 提供,不作任何明示或暗示的担保,包括任何可销售、适用于特定目的以及不违反知识产权的暗示保证.收到或拥有本文档不代表授予任何由 此所描述、显示或包含的知识产权.英特尔?产品未计划用于医学、救生、生命维持、关键控制、安全系统或核设施应用. 在性能测试中使用的软件及其负载可能为英特尔? 微处理器的性能进行了优化.诸如 SYSmark* 和MobileMark* 等测试均系基于特定计算机系统、硬件、软件、操作系统及功能,上述任何要素的变动都 有可能导致测试结果的变化.请参考其他信息及性能测试(包括结合其他产品使用时的运行性能)以对目标产品进行全面评估.获取更多信息,请访问http://www.intel.com/performance. ? 2013英特尔公司.保留所有权利.英特尔标识和英特尔至强是英特尔公司在美国和/或其他国家或地区的商标. *文中涉及的其它名称及商标属于各自所有者资产 1112/JUX /PMG/XX/PDF 328370-001 CN 英特尔? Apache Hadoop 发行版为上海理想提供了实时 的分布式视频处理能力 解决实时视频监控需求 对于新系统的基本设计要求是必须提供实时 图像服务.在紧急时刻,企业利用这些视频 数据来决定所采取的应对措施.这就要求背 景视频并行化分析、存储和处理子系统都具 备极高的处理速度. 该平台可解决以下两个问题: ? 视频图像的实时分析.例如部署在治安系 统应用中时,一旦通过前端摄像头采集到 嫌疑人的图像,需要快速的对采集到的图 像做出分析,判断嫌疑人的身份属性,从 而帮助公安人员进行下一步行动. ? 高效的视频数据存储系统.在 全球 眼 系统中,每个前端摄像头的码流速 率都在6Mbps以上.在一个部署了大量前 端摄像头的全球眼系统中,势必会给后 台分析系统带来海量的数据. 因此,急 需一个新的后台分析系统来处理海量的 数据. 同时,这个平台需要解决原有的一些系统限 制,如: 视频搜索效率低.在遇到如治安分析等业 务请求时,由于分析性能的限制,无法达 到客户需要的实时性要求. 访问吞吐带宽小.原有系统视频存放在集 中式存储中,当需要大范围查询、调用 时,存储系统带宽成为整个系统的瓶颈, 妨碍查询业务的使用. 搜索服务可靠差.原有系统当有个别集群 服务器出错时,无法做到集群自动修复, 会造成整个搜索任务的失败. 集群管理维护难.原有系统没有一个从硬 件到软件到服务状态的整体监控和管理系 统,使用者无法监控、维护和保障整个集 群的运行. 实现高效的分布式视频监控 在采用了英特尔发行版的Apache Hadoop分区 存储架构之后,与上海理想以往部署的传统 数据库相比,各个应用的分析耗时更短. Hadoop分布式数据库集群中的服务器既是计 算节点又是存储节点,并使用HDFS分布式 文件系统让集群中的所有节点形成一个统一 的文件系统.HDFS分布式文件系统的访问 带宽是整个网络的聚合带宽,可以达到几百 Gbps以上,完全消除了视频存储的访问带宽 限制.英特尔 Hadoop发行版在分配搜索任务 时,更可以实现存储位置感知,将任务分配 到视频所存储的节点之上,充分利用本地硬 盘带宽,使访问吞吐进一步提高. 提升性能 上海理想基准测试表明,原有的Oracle数 据库系统应用耗时一个小时,使用英特尔 发行版后,性能提升了五倍. 可靠的数据检查 英特尔Apache Hadoop发行版可实现精细的 作业调度和任务调度.在执行较长时间的 视频搜索任务时,如果主用任务调度器发 生故障,备用任务调度器会自动接替,使 搜索任务避免失败.当个别搜索任务失败 时,任务调度器可以在集群中的另一个节 点上自动重试. ........