一种基于感兴趣区域的质量可分级编码传输方案研究

第２４卷第２期

２０１３年４月

中原工学院学报

ＪＯＵＲＮＡＬ ＯＦ ＺＨＯＮＧＹＵＡＮ ＵＮＩＶＥＲＳＩＴＹ ＯＦ ＴＥＣＨＮ０Ｌ０ＧＹ

Ｖｏ１．２４ Ｎｏ．２

Ａｐｒ．，２０１３

文章编号：１６７１—６９０６（２０１３）０２—００４９—０５

一

种基于感兴趣区域的质量可分级编码传输方案研究

宋晓炜，刘 忠，杨 蕾，吴源昭

（中原工学院，郑州４５０００７）

摘要：采用ＳＶＣ中的ＭＧＳ质量可分级编码技术，提出了一种基于感兴趣区域的质量可分级编码传输方案．首先，将图

像区域划分为感兴趣区域与背景区域两部分，然后，采用ＭＧＳ质量可分级编码技术对感兴趣区域的图像进行逐级增强，

对残差（增强层减去基本层）的１６个ＤＣＴ变换系数进行分层传输得到不同质量的增强层，对于背景区域，抑制增强层的

传输，只传输基本层视频图像．结果表明，斯大林怎么死的 此方法可以在网络带宽受限或者传输码率下降的情况下，通过抑制背景区域增

强层的传输来进一步降低码率，同时保证了感兴趣区域图像的可分级编码质量．

关 键 词： ＭＧＳ；感兴趣区域；质量可分级编码；区域分级传输；选择性增强

中图分类号：ＴＰ３９１．４ 文献标志码：Ａ ＤＯＩ：１０．３９６５Ｉ／ｉ．ｉｓｓｎ．１６７１—６９０６．２０１３．０２．０１２

由于网络的异构性、网络带宽的波动性以及网络 输，以致在接收端ＲＯＩ区域（感兴趣区域）的视频质量

传输的不可靠性，在复杂的网络环境中，如何提供具有

良好的压缩比、容错性和伸缩性的视频码流来适应有

限的终端处理能力和不断变化的用户需求，成为视频

研究中的核心问题和经典问题之一ｌ＿】］，可伸缩视频编

码ＳＶＣ（Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ）＿２ 的出现较好地解决

较低，从而无法满足终端设备的要求．基于Ｈ．２６４的

ＳＶＣ中的ＭＧＳ（Ｍｅｄｉａ Ｇｒａｉｎ Ｓｃａｌａｂｉｌｉｔｙ）较好地解决

了这个问题，其将增强层与基本层的残差系数进行分

层传输，可编码产生多个增强层，增强层的码率逐层递

增．在网络带宽受限或者码率下降的情况下，ＭＧＳ对

整个区域的图像质量进行了较低等级的增强，但依然没 了这一问题．ＳＶＣ作为Ｈ．２６４／ＡＶＣ的扩展标准被提

有从根本上解决ＲＯＩ区域的优先传输问题．文献［３］采

用边缘检测技术提取ＲＯＩ区域，对ＲＯＩ区域信息进行

优先传输，从而增强了Ｒ０Ｉ区域图像质量的鲁棒性，但 大，通过传输与解码增强层的码流来提高视频的解码

是这种方法复杂度较高，码流开销比较大．文献Ｅ１］基于

运动估计对ＲＯＩ区域进行划分与提取，并结合灵活宏

块次序（ＦＭＯ）特性实现了对增强层ＲＯＩ区域的优先传

输． ｔｙ）可以编码重建一个基本层与一个增强层，其中基本

本文在ＳＶＣ中的ＭＧＳ编码方案的基础上，提出了

一

出，把视频信号编码成分层的形式，当带宽不足时只对

低质量的基本层码流进行传输和解码；随着带宽的增

质量．可伸缩视频编码能够动态地适应网络带宽的变

化，具有很好的鲁棒性．

ＭＰＥＧ一４中的ＦＧＳ（Ｆｉｎｅ Ｇｒａｎｕｌａｒｉｔｙ Ｓｃａｌａｂｉｌｉ—

层包含了最重要、但质量最低的视频信息．同时，ＦＧＳ

选择高质量的增强层作为运动估计的参考，扩展了传 种基于感兴趣区域的质量可分级编码传输方法．首先

统的可伸缩编码，具有较好的可伸缩效果．采用

ＭＰＥＧ一４中的ＦＧＳ只能在基本层的基础上预测重

对视频中的ＲＯＩ区域进行划分，对位于ＲＯＩ区域内的

宏块进行标记．在增强层，对这些标记宏块的残差信息

进行逐层恢复，同时抑制恢复背景区域（非ＲＯＩ愚公移山打一成语 区域）的

增强层残差信息，以减少码率．这种区域分级传输的方

建一个增强层，在网络带宽受限或者码率下降的情况

下，只传输基本层将导致整个增强层数据基本无法传

收稿日期：２０１３—０３—１３

基金项目：国家科技重大专项项目（２００９ＺＸ０３００４—００６）；国家自然科学基金项目（６０９０２０６３）；中国博士后科学基金资助项目

（２００９０４６０６９６）；河南省高等学校青年骨干教师资助计划项目（２０１０ＧＧＪＳ－－０９８）；河南省科技创新人才支持计划项目

（１２４１００５１００１５）

作者简介：宋晓炜（１９７８一），男，山西大同人，副教授，博士．

中原工学院学报 ２０１３年第２４卷

法可以在网络带宽受限或者码率下降的情况下，通过抑

制背景区域增强层的传输来进一步降低码率，同时保证

ＲＯＩ区域的编码质量．在网络带宽一定的情况下，也可

以采用该方法实现ＲＯＩ区域的选择性增强．

１ ＲＯＩ区域的划分

在视频传输过程中，感兴趣区域是观看者最关心

的区域，这部分区域在传输过程中如果出现错误或者

大范围的丢包现象，会严重影响视频的观看质量．感兴

趣区域的检测方法很多４ ］，这些方法都是基于运动

对象本身的检测，在整个场景中进行感兴趣区域检测

时，计算量较大．而且这些算法均以运动信息来进行感

兴趣区域的划分，这就导致了一些重要的静止区域（如

视频监控中的禁停区、斑马线等区域）被遗漏，在后续

阶段无法实现这些区域的选择性增强．文献Ｅ７３针对这

些方法的不足，提出了一种利用带状算子提取有意义

的运动区域，对不同区域采取不同检测策略的方法．本

研究是在感兴趣区女娲补天故事 域先验知识已知（例如视频监控、视

频会议等）的情况下开展的．因此，我们无需进行感兴

趣区域的划分．

本文充分利用了典型场景中ＲＯＩ区域的先验知

识，通过相对简单的人为方法对该区域进行划分．具体

步骤为：

（１）根据视频的分辨率将整个视频图像划分为若

干个１６１６的宏块；

（２）采用公式（１）对这些划分的宏块（ｍｂ）进行

ＲｏＩ区域的标识：

ｆｌ，ｍｂ∈ＲＯＩ

Ｍｐ一｛０，ｍｂ￣ＲＯＩ

如果划分的宏块位于ＲＯＩ区域，我们将该宏块的

标识参数置１；反之，将其标识参数置０．最终将视频图

像区域划分为ＲＯＩ区域与背景区域两部分．

该方法可以根据需要对视频图像中的任意宏块

进行ＲＯＩ区域的判断与划分，相对以往人工指定检测

区域时用矩形或者椭圆大致表示的方法更加灵活，同

时，由于人为参与，可以避免一些重要的静止区域被遗

漏的现象．

２ 基于感兴趣区域的质量可分级编码

ＳＶＣ可以实现空间可分级、时间可分级与质量可

分级，其结构如图１所示．

图１ ＳＶＣ编码结构图

由图１可以看出，较低空间层的视频输入序列是

由较高空间层进行下采样生成，每个空间层都包含时间

可分级（Ｔｅｍｐｏｒａｌ从容淡定 ｓｃａｌａｂｌｅ ｃｏｄｉｎｇ）与质量可分级（ＳＮＲ

ｓｃａｌａｂｌｅ ｃｏｄｉｎｇ）两部分．较高空间层的运动与纹理信息

通过较低空间层预测得到．ＳＶＣ中的ＳＮＲ增强层通过

粗粒度可分级编码（ＣＧＳ）或中粒度可分级编码（ＭＧＳ）

来实现可分级．其中，ＣＧＳ编码可以提供一个基本层与草船借箭缩写 水瓶座性格

一

个ＳＮＲ增强层；与ＣＧＳ相比，ＭＧＳ可以提供更多的

增强层，ＭＧＳ对ＣＧＳ增强层中经４４ＤＣＴ变换后的

１６个残差系数进行了逐层传输，且ＭＧＳ的每个增强层

可以恢复一个或者几个残差系数，直到最高层将残差系

数全部恢复，所以其能够实现性能更佳的质量可分级编

码．ＭＧＳ最多可以编码产生１６个增强层，即每个增强

层只恢复一个残差系数．

为了更好地研究质量可分级，我们将图１中的

ＭＧＳ质量可分级部分提取出来进行单独研究．ＭＧＳ

质量可分级编码方案如图２所示．

图２ ＭＧＳ质量可分级编码方案

由图２可知，对视频输入序列进行帧内与帧问预

测，将原始图像与预测图像的残差值进行量化、编码得

到基本层，将原始图像与从基本层重建得到的图像作

差来预测ＳＮＲ增强层．每帧的增强层由该帧对应的基

本层预测得到，对于增强层可根据网络带宽进行不同

－眦薹

＿＿ｌ

——

ｋｒ．。

、

●＿＿

中原工学院学报 ２０１３年第２４卷

感兴趣区域（黑色方框外部区域）．相对于图４ｃ，图４ｂ

中背景区域的图像质量下降，而ＲＯＩ区域的图像质量

基本保持不变．由图４ｄ可知，基于Ｒｏａｄｃｒｏｓｓ序列的

视频图像的交叉路口部分被划分为ＲＯＩ区域．对比图

４ｅ与图４ｆ可以看出，图４ｅ在保持ＲＯＩ区域图像质量

基本不变的情况下，背景区域的重建图像质量出现了

一

定程度的下降．实际上，在感兴趣区域可分级传输

方案中，对于背景区域，我们只是传输了视频序列的

基本层信息；而对于ＲＯＩ区域，我们采用ＭＧＳ技术

对其进行了可分级传输．在网络带宽受限的情况下，

这种感兴趣区域可分级传输方案能够对ＲＯＩ区域的

增强层信息进行优先传输，从而确保ＲＯＩ区域的图像

质量．

３．２客观质量分析

为了更加准确地体现整帧的传输效果与ＲＯＩ区

域的分层传输效果，我们从客观方面对其进行详细分千层饼的做法

析．基于各序列四个质量层各层的码率与相应的亮度

峰值信噪比（Ｙ ＰＳＮＲ）关系如图５所示．

由图５ａ可知，ｉｎｔＦｒｍ对应在整帧区域采用ＭＧＳ

Ｏ １∞ ２００ ３００ 柏０ ∞０ ６∞ ７０Ｄ

Ｂｉｔｒａｔｅ／（Ｋｂ・ｓ一 ）

（ｂ）

（ｄ）

（ａ）基于Ｖａｓｓａｒ序列整个区域均采用ＭＧＳ质量可

分级编码；（ｂ）基于Ｖａｓｓａｒ序列区域分级传输方法；

（ｃ）基于Ｃｒｏｓｓｒｏａｄ序列整个区域均采用ＭＧＳ质量可

分级编码；（ｄ）基于Ｃｒｏｓｓｒｏａｄ序列区域分级传输方法

图５各序列每层的码率与相应的亮度峰值

信噪比关系图

技术进行质量可分级编码时，整帧区域编码质量；ｌｉｎｔ—

ＦｒｍＮｅｗ对应基于ＲＯＩ区域进行质量可分级编码时，

整帧区域的编码质量（与图５ｃ相同）．图５ａ中单独就

ｉｎｔＦｒｍ或者ｉｎｔＦｒｍＮｅｗ来看，从左向右分别对应由

低到高的四个质量层，随着质量层码率的增多，相应的

编码质量逐层增强，这体现了整个图像区域的可分级

质量编码．对图５ａ中ｉｎｔＦｒｍ与ｉｎｔＦｒｒｎＮｅｗ进行对比

可以看出，较整体传输的方法，采用区域分级传输时整

个图像区域的码率大幅度的削减，且整体的编码质量

也有所下降．

由图５ｂ可知，ｌｏｃＦｒｍ对应在整帧区域均采用

ＭＧＳ技术进行质量可分级编码时，ＲＯＩ区域的编码质

量；ｏｃＦｒｍＮｅＷ对应基于ＲｏＩ区域进行可分级编码

时，ＲＯＩ区域的编码质量（与图５ｄ相同），较整帧传输

的方法，采用区域分级传输时，在码率大幅度削减的同

时，ＲＯＩ区域的编码质量基本保持不变．

由图５ｃ和图５ｄ可以看出，二者所示情况基本一致．

第２期 宋晓炜，等：一种基于感兴趣区域的质量可分级编码传输方案研究 ・ ５３ ・

综合分析可知，与整体传输方法相比，采用区域分

级传输方法只需较低的码率便能够实现ＲＯＩ区域同

等质量的编码．另外，当网络带宽一定的时候，也可以

采用这种区域分级传输的方法对ＲＯＩ区域的编码质

量进行选择性增强．

带宽一定的情况下，能够降低背景区域的传输码率，同

时对ＲＯＩ区域的残差系数进行可分级传输，从而实现

了ＲＯＩ区域的选择性增强．本研究成果为可分级压缩

算法的研究提供一定的基础，有助于推动视频监控、视

频会议等领域可分级视频传输方案的发展．在ＲＯＩ区

域内，根据运动矢量信息进一步增强运动相对剧烈的

图像内容，将成为下一步的研究重点．

４ 结 语

基于感兴趣区域的质量可分级传输方法，在网络

参

考文献：

［１］ 朱金秀，郝文瑞．基于感兴趣区域的可伸缩性容错编码［Ｊ］．计算机工程与设计，２００９，３０（２１）：４９０１～４９０３．

Ｅ２］

ＩＳＯ／ＩＥＣ １４４９６—１０：２００５，Ａｍｅｎｄｍｅｎｔ ３ ｔｏ ＩＴｕ—肝囊肿是怎么回事 Ｔ Ｒｅｃ Ｈ ２６４（２００５），Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｃｏｄｉｎｇ［Ｓ］．

２００８，３５（４）：７９—８２． 江浩．一种室内视频监控序列编码方法ＥＪ］．光电工程，

［３］

［４］

Ｈｅｅ Ｙ Ｒ，Ｋｉｗｏｎ Ｌ，Ｂｙｕｎｇ Ｄ Ｋ．２００４ ＩＥＥＥ Ｉｎｔｅｒｎａｔｉｏｎａｌ Ｇｅｏｓｃｉｅｎｃｅ ａｎｄ Ｒｅｍｏｔｅ Ｓｅｎｓｉｎｇ Ｓｙｍｐｏｓｉｕｍ Ｐｒｏｃｅｅｄｉｎｇｓ［Ｃ］．Ａｎ～

ｃｈｏｒａｇｅ：Ｃｏｎｆｅｒｅｎｃｅ Ｐｕｂｌｉｃａｔｉｏｎｓ，２００４．

ｏｒ Ａｒｅａ Ｍｏｒｐｈｏｌｏｇｙ ｆｏｒ Ｍｏｔｉｏｎ Ｆｉｅｌｄ Ｓｍｏｏｔｈｉｎｇ ａｎｄ Ｉｎｔｅｒｐｒｅｔａｔｉｏｎ［Ｊ］．Ｖｉｓｉｏｎ Ｉｍａｇｅ ａｎｄ Ｓｉｇｎａｌ Ｐｒｏｃｅｓｓｉｎｇ， ＥｖａｎｓＡ Ｎ．Ｖｅｃｔ

［５］

２００３，１５０（４）：２１９—２２６．

ａｕｆｆｅｒ Ｃ，Ｇｒｉｍｓｏｎ Ｗ Ｅ Ｌ．Ａｄａｐｔｉｖｅ Ｂａｃｋｇｒｏｕｎｄ Ｍｉｘｔｕｒｅ Ｍｏｄｅｌｓ ｆｏｒ Ｒｅａｌ—ｔｉｍｅ Ｔｒａｃｋｉｎｇ［Ｊ／ＯＬ］．［２０１３—０３一ｏ５］．ｈｔｔｐ：／／ Ｓｔ

［６３

ｗｗｗ．ａｉ．ｍｉｔ．ｅｄｕ／ｐｒｏｊｅｃｔｓ／ｖｓａｍ／Ｐｕｂｌｉｅａｔｉｏｎｓ／ｓｔａｕｆｆｅｒ—ｃｖｐｒ９８一ｔｒａｃｋ．ｐｄｆ．

［７］

郑锦，李波．面向室外视频监视的感兴趣区域提取［Ｊ］．中国图像图形学报，２０１０，１５（９）：１３６３—１３６９．

ＪＴｃ１／ｓｃ２９／ｗＧ１１．Ｍｕｌｔｉｖｉｅｗ Ｖｉｄｅｏ Ｔｅｓｔ Ｓｅｑｕｅｎｃｅｓ ｆｒｏｍ ＭＥＲＬ，Ｍ１２０７７［Ｒ］．Ｋｏｒｅａ：Ｂｕｓａｎ，２００５． ＩＳＯ／ＩＥＣ

［８］

ｎｔ Ｖｉｄｅｏ Ｔｅａｍ ｏｆ ＩＴｕ—Ｔ ＶＣＥＧ ａｎｄ ＩＳＯ／ＩＥＣ ＭＰＥＧ．Ｊｏｉｎｔ Ｓｃａｌａｂｌｅ Ｖｉｄｅｏ Ｍｏｄｅｌ Ｓｏｆｔｗａｒｅ ９．１９．１４［ＥＢ／ＯＬ］．［２Ｏｌ１—０６ Ｊｏｉ

［９］

１４１．ｆｔｐ：／／ｇａｒｃｏｎ．ｉｅｎｔ．ｒｗｔｈ—ａａｃｈｅｎ．ｄｅ．

Ａ Ｔｒａｎｓｍｉｔｔｉｎｇ Ｍｅｔｈｏｄ ｆｏｒ Ｑｕａｌｉｔｙ Ｓｃａｌａｂｉｌｉｔｙ Ｃｏｄｉｎｇ Ｂａｓｅｄ

ｏｎ Ｒｅｇｉｏｎ ｏｆ Ｉｎｔｅｒｅｓｔ

ＳＯＮＧ Ｘｉａｏ—ｗｅｉ，ＬＩＵ Ｚｈｏｎｇ，ＹＡＮＧ Ｌｅｉ，ＷＵ Ｙｕａｎ—ｚｈａｏ

（Ｚｈｏｎｇｙｕａｎ Ｕｎｉｖｅｒｓｉｔｙ ｏｆ Ｔｅｃｈｎｏｌｏｇｙ，Ｚｈｅｎｇｚｈｏｕ ４５０００７，Ｃｈｉｎａ）

Ａｂｓｔｒａｃｔ： Ｉｎ ｔｈｉｓ ｐａｐｅｒ，ａ ｔｒａｎｓｍｉｔｔｉｎｇ ｍｅｔｈｏｄ ｂａｓｅｄ ｏｎ ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ ｈａｓ ｂｅｅｎ ｐｒｏｐｏｓｅｄ ｆｏｒ ｑｕａｌｉｔｙ ｓｃａｌａｂｉｌｉｔｙ

ｖｉｄｅｏ ｃｏｄｉｎｇ ｂｙ ｕｓｉｎｇ ＭＧＳ ｔｅｃｈｎｏｌｏｇｙ ｉｎ ＳＶＣ．Ｆｉｒｓｔｌｙ，ｖｉｄｅｏ ｉｍａｇｅｓ ａｒｅ ａｒｔｉｆｉｃｉａｌｌｙ ｓｅｇｍｅｎｔｅｄ ｉｎｔｏ ｔｗｏ ｐａｒｔｉｔｉｏｎｓ，ＲＯＩ

ａｎｄ ｂａｃｋｇｒｏｕｎｄ．Ｓｕｂｓｅｑｕｅｎｔｌｙ，ｆｏｒ ＲＯＩ，ｔｈｅ １６ ＤＣＴ ｃｏｅｆｆｉｃｉｅｎｔｓ ｏｆ ｔｈｅ ｒｅｓｉｄｕａｌ，ｗｈｉｃｈ ａｒｅ ａｃｑｕｉｒｅｄ ｂｙ ｓｕｂｔｒａｃｔｉｎｇ

ｂａｓｅ ｌａｙｅｒ ｆｒｏｍ ｅｎｈａｎｃｅ ｌａｙｅｒ，ａｒｅ ｔｒａｎｓｍｉｔｔｅｄ ｈｉｅｒａｒｃｈｉｃａｌｌｙ ｔｏ ｔｈｅ ｅｎｈａｎｃｅ ｌａｙｅｒ．Ｂｙ ｅｍｐｌｏｙｉｎｇ ｔｈｅ ｑｕａｌｉｔｙ ｓｃａｌａｂｉｌｉｔｙ

ｃｏｄｉｎｇ ｔｅｃｈｎｏｌｏｇｙ ｏｆ ＭＧＳ，ｔｈｅ ｑｕａｌｉｔｙ ｏｆ ＲＯＩ ｉｓ ｇｒａｄｕａｌｌｙ ｅｎｈａｎｃｅｄ．Ｆｏｒ ｔｈｅ ｂａｃｋｇｒｏｕｎｄ，ｔｈｅ １ ６ ＤＣＴ ｃｏｅｆｆｉｃｉｅｎｔｓ ａｒｅ

ｃｏｎｔｒｏｌｌｅｄ ｎｏｔ ｔ立足本职 ｏ ｔｒａｎｓｍｉｔ ｔｏ ｔｈｅ ｅｎｈａｎｃｅ ｌａｙｅｒ，ｒｅｓｕｌｔｉｎｇ ｔｈａｔ ｏｎｌｙ ｂａｓｅ ｌａｙｅｒ ｉｓ ａｓｓｉｇｎｅｄ ｔｏ ｔｈｅ ｒｅｇｉｏｎ．Ｅｘｐｅｒｉｍｅｎｔａｌ ｒｅ—

ｓｕｌｔｓ ｓｈｏｗ ｔｈａｔ ｃｏｄｉｎｇ ｂｉｔｒａｔｅ ｃａｎ ｂｅ ｆｕｒｔｈｅｒ ｒｅｄｕｃｅｄ ｗｉｔｈｏｕｔ ａｆｆｅｃｔｉｎｇ ｔｈｅ ｑｕａｌｉｔｙ ｏｆ ＲＯＩ，ｆｏｒ ｗｈｉｃｈ ｔｈｅ ａｄａｐｔａｂｉｌｉｔｙ ｏｆ

ｔｈｅ ｎｅｔｗｏｒｋ ｔｏ ｔｈｅ ｌｉｍｉｔａｔｉｏｎ ｏｆ ｉｔｓ ｂａｎｄｗｉｄｔｈ ｉｓ ｉｍｐｒｏｖｅｄ．

Ｋｅｙ ｗｏｒｄｓ： ＭＧＳ；ｒｅｇｉｏｎ ｏｆ ｉｎｔｅｒｅｓｔ；ｑｕａｌｉｔｙ ｓｃａｌａｂｉｌｉｔｙ ｃｏｄｉｎｇ；ｒｅｇｉｏｎ ｓｃａｌａｂｉｌｉｔｙ ｔｒａｎｓｍｉｔｔｉｎｇ；ｓｅｌｅｃｔｉｖｅ

ａｎｈａｎｃａｍｅｎｔ．