PDF《基于深度学习的视频图像再压缩方法》

电子设计工程 Electronic Design Engineering 第27卷Vol.

27 第11期No.11 2019年6月Jun.

2019 收稿日期: 2018-10-04 稿件编号:

201810004 作者简介: 郝小龙 (1984―) , 男, 山西吕梁人, 硕士研究生, 副高级工程师.研究方向: 图像处理与计算机视觉. 随着图像显示技术的发展, 特别是移动端显示 分辨率的提高, 在有限的网络传输速度和设备存储 空间的限制下, 需要比以往更高的视频压缩比例. 特别是全景相机和VR头盔技术的应用越来越普及, 由 此带来的对

4 K 甚至是

8 K 视频在移动端口的显示需 求的增长, 需要一种更高比例的视频图像压缩技术 以满足网络传输速度和移动设备存储空间的限制.

1 视频片段检测概述 每个视频都同一组连续的视频片段组成, 视频 片段与视频片段之间的变化由几种视觉效果组成, 这些视频效果可能被分为两种主要的各类: 剧变和 渐变[1] 如图

1 所示.剧变表示视频片段迅速地由一 个场景切换到不同的场景, 通常在一帧内完成切换, 而渐变通常是指在多帧内完成切换的过程.更具体 地来看, 渐变可以被分为两类: 融解和非融解, 前者 包括半透明渐变、 淡出、 淡进等, 后者主要表示一种擦 除的效果, 相对于前者, 擦除由更多的不同方式组成. 现有的视频图像压缩方法主要针对帧内数据进 行压缩, 即主要通过分析视频帧数据的空间信息来 用更少的数据存储帧数据.本文提出一种基于视频 片段压缩的方法在传统视频图像压缩方法的基础上 用2个关键帧来存储整体个视频片段的数据.通过 一种快速且准确的方法将视频分为不同的视频片 段, 在视频片段分类的基础上对普通视频片段提取 基于深度学习的视频图像再压缩方法 郝小龙, 冯敏, 樊强, 彭启伟, 韩斌(南京南瑞信息通信科技有限公司 江苏 南京 210003) 摘要:传统的视频图像压缩方法主要是针对视觉数据本身进行压缩, 对帧间数据的压缩比例不 高.本文提出一种基于深度学习技术的针对视频片段数据的压缩方法, 在传统压缩方法的基础上 对构成视频片段的视频帧序列进行进一步的高比例压缩.首先基于时空卷积神经网络对视频帧 序列进行分类, 将视频片段分为剧变、 渐变和普通三个类别, 再对普通类别的视频片段进行处理以 提取关键帧并用关键帧表达该视频片段的信息.在重构质量相同的情况下, 本文提出的方法可将 H.264/AVC 和HEVC 编码标准的平均码率分别降低 57.62%和8.37%. 关键词: 视频图像压缩;

深度学习;

关键帧提取;

帧间冗余 中图分类号: TN919.8 文献标识码: A 文章编号: 1674-6236 (2019) 11-0189-05 Video and image recompression based on deep learning HAO Xiao?long, FENG Min, FAN Qiang, PENG Qi?wei, HAN Bin (Nanjing NARI Information Communication Technology Co. Ltd., Nanjing 210003, China) Abstract: The traditional video and image coding algorithms mainly focus on compressing the original frames in the video or image data,whose compression rate is not significant with respect to the inter- frame redundancy. In this paper,we propose a deep learning based method to compress different video clips according to their specific characteristics,which could achieve a high compression rate with negligible distortion. Firstly,we classify the video clips into three categories (i.e.,drastic change;

gradual change;

normal change)via the spatio-temporal convolution neural network. Then,for the clips with normal change,we extract their key frames and compress them with existing standard codec. Experimental results show that the proposed method saves the bitrate by 57.62% and 8.37% with respect to the H.264/AVC and HEVC. Key words: video and image compression;