地震安全教育收稿日期:2006-11-08修订日期:2007-01-30作者简介：戴宁赟1981-男浙江宁波人硕士研究生主要研究方向：视频编码和多媒体通信朱光喜1946-男江西人教授博士生导师主要研究方向：宽带无线系统、B3G移动通信.文章编
号:1001-90812007S1-0369-03一种场景切换的码率控制方法戴宁赟朱光喜华中科技大学电子与信息工程系湖北武汉摘要:H.264建议的码率控制算法在场景切换时未做相应处理因此存在一定的缺陷。为了改善场景切换时的编码质量提出了一种利用每帧DCT系数的绝对值之和进行场景切换的检测方法同时对相应的切换帧做码率控制调整。该算法在JM86平台下实现实验结果表明使用改进算法后的测试结果在序列平均PSNR和码率准确程度上均有改善。关键词：码率控制场景切换H.264视频编码标准中图分类号:TP37文献标识码:A0引言到目前为止视频编码标准通常采用去除时空域相关性的帧内/帧间预测、离散余弦变换量化和熵编码技术以达到较高的编码效率这样得到的码流具有变速率特性。但是由于传输带宽、存储空间等条件的限制又必须将码率波动限制在一定范围内这时就需要采用合理的码率控制算法。码率控制算法极大地影响着视频编码的性能好的算法能够提高编码的质量。H.264/AVC中采用的码率控制算法采用R2D优化模式判别在控制的流程中依次根据之前的参考帧来预测得到当前编码帧的复杂度MAD值1其依据在于预测的MAD值最终将收敛于实际的MAD值。而发生场景切换的帧由于前后帧的复杂度可能完全无关仍采用原有帧进行预测将会使预测误差变大。同时在对当前编码帧分配目标码字的过程中H.264采用的码率控制算法并不考虑各帧的实际复杂度状况而是根据帧的类型平均分配给
die的用法各帧。实际上相同类型的帧的复杂度之间是有差异的。可见H.264原有的码率控制算法并未考虑发生场景切换时造成的预测失真因而在处理此类情况时会有较大误差。一般认为切换点附近编码图像质量降低主要是由图像的预测效果下降引起的因此处理方法一般针对切换帧处理：如有文献提出了改变GOP结构的方法即将新场景中的第一个P帧当作I帧处理以此帧作为新GOP的开始24或是单独切换帧进行处理以分配合理的码字5。前一种算法要变更GOP的结构且I帧所占用的比特数远大于P、B帧这会使场景切换频繁时能分配给其余帧的可用比特数减少从而使整体图像编码质量降低。因此本文采用对切换帧单独处理的方法。1 H.264现有的算法简介H.264现有的G012码率控制算法的核心为二阶率失真模型1:RaMADQBMADQ2其中R为目标比特数Q为量化参数a、b为模型参数MAD为亮度信号的平均绝对差值。从第三帧起当前编码帧的预测MAD值由其前一帧的MAD值通过线性预测得出。这样在场景切换时由于图像之间得时间相关性被破坏由此得到得MAD值不能正确反映当前帧的复杂度。目标比特数分配：由算法流程可见目标比特数的分配也是分层的。GOP级：分配给当前GOP的总比特数由带宽、帧率和虚拟缓冲区决定:Trni0uni1Fr×NGOP-Bcni-1NGOP1每编完一帧就更新
Trnij:TrnijTrnij-1-bnij-12其中nij表示第i个GOP中的第j帧NGOP是GOP的长度Bcnij是编完第nij帧时虚拟缓冲区的饱和程度unij为带宽Fr是帧率bnij为第nij帧实际编码比特数。帧级：计算当前P帧的分配的目标码字它由带宽、帧率、目标缓冲区级别和实际缓冲区充盈状况决定:fnijunijFrγ×TBlnij-Bcnij3同时该值也可使用下式计
算:fnijTrnijNrnij4其中Nrnij表示在该帧所在GOP中剩余待编P帧数。综合考虑该帧分配的目标码字由式5得出:fnijβ×fnij1-β×fnijβ0.55从中不难看出分配给某帧的目标码字与该帧的复杂度无关而是降GOP中未分配码字平均分配到未编码P帧中这种码字
分配机制是不合理的。显然由于图像信源的多样性同类型编码帧的编码复杂度不会相同。因而将可分配码字分配到未编码帧时要考虑每帧编码复杂度的实际情况而不能简单的将其平均分配。第27卷2007年6月计算机应用ComputerApplications Vol.27June2007由此不难看出在H.264的G012算法有以下特点:1根据前一帧的复杂
度线性预测下一帧的复杂度进而分配码字2虚拟缓冲区充盈度值在经过前几帧编码过程的调整后收敛达到最佳值才能适用于当前编码帧。一般情况下由于图像在时域上存在连续性以上两条一般均基本可以满足。但是在场景切换时这两条都不能满足所以原有的码字分配机制会产生偏差。2场景切换的码率控制算法为了更好地处理场景切换的情况提出了一种场景切换的检测方法然后再对检测出的切换场景进行处理。处理包含两点:1调整场景切换处编码帧的预测复杂度使其更能反映实际的情况2根据预测的复杂度调整分配给该帧的目标码字。2.1场景切换的检测发生场景切换时由于相邻图像之间失去了时间相关性从而有可能导致较大的误差使缓冲区发生上溢和下溢。在场景切换发生时为防止运动估计、补偿失效带来的编码效率下降序列很多区域都会采用帧内编码的方式从而不可避免的引起码率上升。根据实验可以看出平稳序列中每帧的DCT系数绝对值和也保持相对的连续。图1CIF序列固定QP
下DCT系数绝对值和曲线图2CIF序列固定QP下相邻帧DCT系数绝对值和比值曲线实验测量了QCIF和CIF格式包含场景切换的序列。其中QCIF测试序列由container、foreman、carphone和news分段拼接而成。CIF序列由singer、bus和football分段拼接而成。测试时分别固定QP为15、28、35、50图1、图2为QP为28时结果。从图1、图2可以看出不同场景间每帧的DCT系数的绝对值和相差较大相同场景内每帧的DCT 系数的绝对值和随运动的剧烈程度有平稳的变化：平稳序列中每帧的DCT系数的绝
对值和的变化较小如QCIF测试序列中的container、news部分及CIF中的singer部分剧烈序列中每帧的DCT系数的绝对值和相对波动较大如QCIF和CIF测试序列中的football部分。由此可知同一场景中的DCT系数会保持一种相对连续的状态而在场景切换前后该值由于图像的时间连续性被破坏而变化较大。因此只要确定合适的判别方法和相关的门限就可以判断出场景的切换。而由图2可知由于图像时间相关性被破坏所以在发生场景切换的帧处DCT系数的比值会发生跳变而之后由于切换后的图像内容有联系时间相关性又会满足从而使DCT系数绝对和的比值恢复到1的附近。为此本文检测场景切换时通过每帧的DCT系数绝对和来判别具体过程如下:1定义相邻帧DCT系数绝对值和的比值相对于1的偏
移:DnASdctnASdctn-1-1ASdctnASdctn-11DnASdctn-1ASdctn-1ASdctnASdctn-1avrDn 时或是avrDnDn当Dn≤avrDn时与门限T的大小超过门限即判别为发生场景切换。T的取值将决定检测的范围和准确程度根据实验的数据：一般突变的T值都在3以上渐变或是镜头的移动T值在23之间视变化快慢程度而变化。2.2场景切换帧的处理2.2.1场景切换帧的复杂度估计的处理根据现有信源符合Laplacian
分布得出的R2D模型可以推出:RDln1αD6其中α为模型参数R为分配的码字D为残差即图像复杂度。在发生场景切换时现有的算法仍然由前一帧实际的MAD值通过线性预测得出当前帧的预测MAD但由于前后图像的时间相关性被破坏这样得到的预测值不能正确反映图像间的复杂度关系从而导致之后根据MAD得出的量化参数与实际情况不符。根据之前模型中分配码字与复杂度的关系以及图像的DCT系数也可表示图像的复杂度所以在分配码字之前可以使用得到的DCT系数来表征不同帧的复杂度。在场景切换前后两
帧DCT系数是给定量化参数QP就已知的通过前后的DCT系数就可以得到变化前后的相对复杂度关系。这里定义图像第i帧与前一帧的相对复杂度σilnASdctilnASdcti-1场景切换时原有的预测仍假定前后图像的时间连续性存在由线性预测得出的预测MAD仍将收敛于未切换前图像的实际MAD。因此在场景切换帧i将其预测MAD通过已知信息处理为MADscenechangeframeMADpredict×σi式中MADpredict为原先通过线性预测得到的预测MAD值。2.2.2缓冲区的处理原算法中将剩余码字平均分配的算法忽略了图像复杂度的关系。这里定义W为当前切换帧的复杂度与平均复杂度的比值:WMADscenechangeframe1i∑i-1n0MADi073计算机应用2007年从而
ωβ×W此时公式5成为:fnijω×fnij1-ω×fnij0≤ω≤1使用此公式将会根据该帧图像的复杂程度以及当前缓冲区的状态分配该帧的目标码字。3实验结果在JVT的JM8.6平台下实现本文算法实验结果与JVT2G012进行比较。实验所用测试序列为前面所提到的由标准测试序列拼接而成的序列及glasgow分段而成的
序列。测试帧率30帧/s序列结构为IPPP目标比特率为从24kbps到256kbps不等。初始的I帧固定QP为24。为了测试场景切换时的码率控制效果分别以标准序列截取组合而成qcif及cif格式的测试序列表中分别为qcif格式突变测试序列、cif格式突变测试序列、qcif格式的glasgow序列的测试结果。表1实验结果测试序列目标码率
RatePSNRProposalJVT2G012ProposalJVT2G012Cif格式测试序列
谑是什么意思
9698.4198.4824.3324.31128128.67128.6725.5225.52160160.60160.5426.7026.71192192 .57192.6327.6327.62256256.61256.7229.0129.06Qcif格式测试序列
2424.0924.1126.5626.444848.1048.1531.5531.526464.1764.2133.2633.309696.2596.253 5.5735.57160160.21160.3538.4738.38196196.22196.2439.5639.55Glas2gow序列6467.7168.3127.2327.269697.6797.8428.7628.67128128.62129.2029.8129.83160160.32 160.2930.8230.7596196.35196.4131.6331.61CIF测试结果中改进算法的平均码率误差较原算法少0.03平均PSNR值与原算法相当QCIF测试结果中改进算法的平均码率误差较原算法少0.04平均PSNR值与原来相当Glasgow测试结果中改进算法的平均码率误差较原算法少0.28相同码率下平均PSNR值与原算法相比最多提高约0.1。因为目前所采用的模型对MAD的预测和R2D模型的更新都是基于线性衰减理论的如果有足够的采样点那么最终的预测值都将收敛于实际值。所以图像的格式越大、基本单
元分得越细、帧率越高采样点也越多即码率控制的结果越准确。在实验所设定的码率下原有场景切换序列经过码率控制后得到的码率均较目标码率偏高相应的PSNR 值自然也较大。而采用本文的算法CIF测试序列在多数情况下码率控制后的结果与目标码率更为接近同时PSNR值上也基本与原有算法相当。而在QCIF和Glasgow的测试序列实验中本文算法与原算法相比更接近目标码率且整体上PSNR值还略有提升。所用CIF与QCIF测试序列分别为标准测试序列的平稳部分拼接而成测试所用的glasgow序列为截取原序列的突变部分内含一个8帧左右的较慢渐变过程和一个3帧左右的较快渐变过程。从表1的数据可以看出在含有场景切换的情况下无论原有的图像内容运动平稳与否本文所提算法在不降低图像整体质量的前提下能更精确地控制码率其中控制精度最大改善0.6kbps。而在图像整体的主观质量方面由于人眼对于亮度分量更为敏感比较序列的亮度PSNR曲线如图3所示。从图3可以看出与JM86平台所采用的JVT2G012算法相比在15帧附近的第一个场景切换及99帧附近的场景切换处本文算法在场景切换前后的PSNR值差别较小。本文提出的算法在发生场景切换
穿比基尼的美女
岗位分析报告时产生的波动较原算法小从而使整体的质量更平滑。图3qcif测试序列160kbps下PSNR比较场景切换在视频中并不少见本文提出的算法与原有算法相比能更准确地控制码率而且在发生场景切换前后的PSNR波动也更平稳。参考文献:1
LEEH2JCHIANGTZHANGY2Q.ScalableratecontrolforMPEG24videoJ.IEEETransactio nsonCircuitsandSystemsforVideoTechnology2000106:878-894.2 PEISCCHOUYZ.Novelerrorconceal
mentmethodwithadaptivepredictionofabruptandgradu alscenechangesA.16thInterna2tionalConferenceonPatternRecognitionC.20023:827-830.3 LINL2JORTEGAA.Bit2ratecontrolusingpiecewiapproximatedrate2distortioncharacteri sticsJ.IEEETrans.CircuitsSystVideoTechnol.199884:446-459.4
SUNYAHMADI.Arobustandadaptiveratecontrolalgorithmforobject2badvideocodingJ.I EEETransactionsonCircuitsandSystemsforVideoTechnology20041410:1167-1182.5 TSEKWEIJPANCHANATHANS.Ascenechangedetectional2gorithmforMPEGcompres dvideoquencesA.CanadianCon2ferenceonElectricalandComputerEngineeringCCECEπ95C.19952:827-830.6
LELESCUDSCHONFELDD.Real2timescenechangedetectiononcompresdmultimediabi tstreambadonstatisticalquentialanalysisA.IEEEInternationalConferenceonMultimedia andEx2poICME2000C.20002:1141-1144.7
LELESCUDSCHONFELDD.Statisticalquentialanalysisforre2al2timevideoscenechange detectiononcompresdmultimediabits2treamJ.IEEETransactionsonMultimedia200351:1 06-117.8护理学论文
眼镜的英语>对镜自拍LEESHAYESMH.Efficientscenegmentationforcontent2badindexinginthecompresd domainA.IE
EEFourthWorkshoponMultimediaSignalProcessingC.2001.473-478.1736月戴宁赟等：一种场景切换的码率控制方法
