基于数字电视MER 值的
监测预警系统原型设计与应用
【摘 要】随着有线电视网络的发展，有线电视网络结构日益复杂庞大，为了优化网络资源配置，确保前端播出信号顺利到达用户端，提高运维服务质量，减少用户报修，要求必须实现MER 值端到端实时采集与监测，对规模化的信号异常情况能够及时预警。目前，多数运营商仅实现了对前端信号的监测，对终端侧的MER 值监测国内尚属空白。本文旨在利用机顶盒终端上报的MER 值数据，对MER 值进行实时监测，并对异常信号进行预警处理。【关键词】实时监测，早期预警，MER 值，全样本统计，数据分析
【中图分类号】 TP319 【文献标识码】 B 【DOI 编码】
10.ki.rtbe.20190004022【本文献信息】张一哲.基于数字电视MER 值的监测预警系统原型设计与应用[J].广播与电视技术，2019,Vol.46(4).
Prototype Design and Application of Monitoring and Warning System
Bad on DTV MER Value
请简述
Zhang Yizhe
(Jiangsu Cable Network Technology Rearch Institute Co. Ltd., Jiangsu 210000, China)
Abstract With the development of CATV network, the CATV network structure is becoming more and more complex. In order to optimize the configuration of network resources, to ensure the smooth arrival of the front-end broadcasting signal, to improve the quality of operation and maintenance rvices and to reduce the ur's repair frequency, it is necessary to realize the end to end real-time acquisition and monitoring of MER values, and timely warning of large-scale abnormal signal situation. At prent, most operators only realize the monitoring of front-end signals, while the monitoring of MER value in the terminal is still unavailable. The purpo of this paper is to monitor the MER value by using the real-time MER data reported by the STB terminal, and then to warn and process of abnormal signals. Keywords Real-time monitoring, Early-warning, MER value, Full sample statistics, Data analysis
张一哲
（江苏有线技术研究院有限公司，江苏 210000）
0 概述
传统的数字电视网络信号监测系统只能监测到分前端的播出MER 值。随着广电有线网络的发展，传统的监测方式已不能完全满足当前运营商的需求，因此，实时获取当前用户端的MER 值，监测分析一个区域内网络MER 值的变化与分布情况，已成为有线运营商亟需解决的问题。本文旨在根据机顶盒端实时上报的MER 值数据，通过机顶盒终端的定位应用程序对机顶盒终端进行区域定位，实现监测全网各区域每个终端每个频点的MER 值。另一方面，根据对全样本数据的分析与挖掘，监测MER 值的波动变化，分析MER 值是否存在波动异常或日趋劣化的现象，并根据区域内发生异常的终端数量与机顶盒存有量的占比，预测该区域内发生网络故障的可能性。
1 设计思路
MER 值监测系统采用多层架构，层间采用异步通信机制等业界先进的技术体系，满足了产品在扩展性、灵活性、稳定性和可靠性等方面的高要求。
1.1 基本原理
在数字电视中，
MER (Modulation Erorr Ratio , 调制差错率)[1]是QAM 调制器特有的表征数字电视信号质量最重要指标，也是最为关键的指标，它全面衡量了QAM 调制器的输出的数字电视信号质量，决定着HFC 网络
的覆盖范围及边缘接收效果。MER 是信号矢量幅度的有效值与误差幅度的有效值的比值, 以dB 为单位表示[2]。它精确表明数字信号在调制和传输过程中所受到的损伤，也一定程度上说明该信号是否能被解调还原，
以及解调还原后的信号质量状况,
其计算公式如下：
MER=10lg
本系统的基本原理就是通过机器学习中的监督学习算法，利用从机顶盒软件里内植探针的办法从高频头采集的MER实时上报数据，通过主观观测机顶盒视频效果，对上报的数据进行标注是否出现异常。把这些标注的数据作为训练材料，训练出MER的基准范围和基准统计值。然后，根据基准范围和基准统计值来判断某个终端是否需要预警，其中，机顶盒某频点
的MER值在很长一个时期内的稳定变化范围叫做该机顶盒在这一频点的基准范围。基准统计值指的是上述基准范围的统计值，包括平均值、方差等。
MER基准范围=[max(正常MER)i，min(正常MER)j] (i=1，2..n. j=1，2 ..，n) （1）
MER平均值=（i=1，2，…n）（2）
MER方差=（i=1，2，…n）（3）具体来说，根据某个终端具体的某个频点上报的MER数据与基准范围或基准值进行比较，当该数据不在基准范围内或与基准统计值差别过大时，则认为该机顶盒信号异常，再根据机顶盒所在的区域及其上游所属设备，通过计算异常机顶盒的总量占考察总量的比例，对该区域的MER值进行异常分类和不同程度的预警。根据预警的情况，反馈给参数配置模块，修正其参数，其基本原理如图1所示。
1.2 预警类型定义
根据采集终端网管实时上报的MER值数据，监测每个终端上报的每个频点的MER值，并把MER值的异常分成三类：实时数据异常、数据波动异常和MER值劣化。
实时数据异常：某个机顶盒实时MER值样本值不在其频点的基准范围（MERi-MERj）内，则为实时数据异常。当其所在的该区域实时数据异常机顶盒量超过10%时，给予相应的预警提示。
数据波动异常：某个机顶盒的某一频点最近若干天的数据样本方差在其基准方差的合理范围外，则为数据波动异常。当其所在的该区域数据波动异常机顶盒量超过10%时，给予相应的预警提示。
MER值劣化：某个机顶盒的某一频点最近若干月的数据样本平均值逐渐下滑时，则为MER值劣化。当其所在的该区域MER值劣化机顶盒量超过10%时，则给予相应的预警提示。
在预警过程中，通过对接GIS系统，获取了机顶盒所属区域及其上游链路设备，如前端设备、骨干传输设备、放大器、光节点等。通过这些信息，可以进行定位预警影响的范围，从而可以有针对性的进行排查问题源。如图2、图3所示，红色部分为预警区域。
图2所示，如果同一设备下，所有的子区域预警，则可以推断问题源很可能在上游链路区。
图3所示，如果同一设备下，只有部分子区域预警，则可以推断问题源很可能是本设备或其下游链路区。
预警类型定义根据异常终端占最小区域颗粒度的比例进行定义的，当异常终端占所有终端比例的10%〜30%定义为黄色预警，当异常终端占所有终端的30%〜50%时定义为橙色预警，当异常终端占所有终端的50%以上时定义为红色预警，当然，这些阈值可以根据实际的数据进行优化演进的。
2 系统架构
监测系统采用多层架构，层间采用异步通信机制等业界先进的技术体系，满足了产品在扩展性、灵活性、稳定性和可靠性等方面的高要求。
2.1 系统总体架构
监测预警平台核心功能包括配置管理、预警管理和报表管理。配置管理系统提供了设备当前配置变更、配置信息呈现和采集周期管理的功能。数据采集完成后可以根据已经设置的预警参数对预警信息进行判断.预警管理主要是针对系统各类预警进行统一管理，主要包括实时区域预警监视、实时单机预
警监视等。报表管理模块主要用于下载预警的周报表、月报表以及下载相应的散列图、走势图等，监控系统功能结构如图4所示。
2.2 系统功能描述
监管平台核心功能包括配置管理、实时告警管理、统计分析管理。
配置管理：配置管理子系统提供了设备当前配置变更、配置信息呈现和采集周期管理的功能。数据采集完成后可以根据已经设置的告警规则对告警信息进行展示。
实时告警管理：实时告警管理主要是
针对系统各类告警进行统一管理，主要包括实时光机告警监视、实时SN 告警监视。
统计分析：统计分析部分实时分析统计、历史分析统计两部分。该部分可根据用户实际需求实例化各种应用。如：可根据实时分析统计信息展现某SN 某频点信
3. SN 级别实时处理模块处理：如该SN 对应频点信号质量/信号强度与基准范围比较，结果在基准范围之外则SN 级别实时处理模块将SN 告警事件处理流转到光机级别实时处理；
4. 经光机级别实时处理模块处理：在告警周期内统计告警总数，在告警周期到达后同步给DB 。
2.4 历史监控分析业务流程
历史监控分析业务流程如图6所示。
1. 根据终端管理系统数据生成SN 粒度基准数据默认值；
图3
甲午大海战电影问题源很可能在下游链路区
2. 向SN 粒度定时历史任务处理模块同步历史数据；
3. 向SN 粒度历史信号分析模块同步历史数据，用以展示基础数据走势等具体业务；
4. SN 粒度定时历史任务处理模块接收基准数据信息等，并根据用户具体业务计算SN 粒度的平均值及方差与基准信息进行比较；
5. SN 粒度定时历史任务处理模块向SN 粒度历史信号分析模块同步处理的结果数据；
6. SN 粒度定时历史任务处理模块将结果数据转发区域粒度定时历史任务处理模块，区域粒度定时历史任务处理模块接收流转信息，并根据用户具体设置的百分比进判断处理；
7. 区域粒度定时历史任务处理模块向区域粒度历史信号分析模块同步处理的结果数据。
3 应用情况
3.1 应用场景
该系统的主要为MER 值的监测与异常预警、定位故障发生源、优化网络配置等方面提供了数据支撑和依据，其应用场景如下：
MER 值的监测与异常预警：实时监测MER 值变化和分布情况，并对MER 值可能发生异常的情况进行提前预警，使信号传输故障消失在未发生之前，为防患于未燃提供了可行而有效的手段。
定位故障发生源：该系统对接GIS 系统和BOSS 系统，其中，GIS 系统提供了终端所属的上游设备和物理地理信息，BOSS 系统提供了用户信息，然后通过终端网管的序列号进行关联。当终端发生异常或故障时，可以及时定位故障发生源，为运维人员上门服务，排查故障提供了帮助
优化网络结构提供数据支撑：根据系统提供的预警信息，
如果某区域经常发生MER 值异常的预警，工程技术部门可以据此科学合理的调整和优化全网网络资源和结构，节约了运维的时间和优化成本。
积累故障预测经验：对于已发生故障的区域，可以挖掘数据的变化与分布情况，然后反馈给系统，系统根据发生故障的数据，进行调整预警参数；另一方面，通过对历史故障数据的挖掘，分析故障区域的MER 值变化和分布情况，探索信息发生异常的变化规律。从而更智能地预知故障，积累了预先规避故障的经验。
3.2 案例
目前该系统在江苏有线南京分公司已试用，实时监测界面共监测22个二级站所辖的区域，主要监测某区域的开机量（率）、光节点预警个数、楼放预警个数、MER 值和信号强度的三种异常情况，分别为实时数据异常（图7中简称异常）、信号波动异常（图7中简称不稳）和信号劣化（图7中简称劣化）。
并利用颜色区分异常程度，分三级预警机制，分别为黄色预警、橙色预警和红色预警如图7、图8所示。点击各预警情况，可以查询具体预警详情，如图7。
历史数据查询界面：可以根据SN （机顶盒序列号）、频点、类型、开始时间和结束时间进行段查询，并给出每个时刻该终
夸耀的反义词SN粒度基准数据
默认值生成
基准数据配置
7周年终端管理系统数据
1.数据同步
2.数据同步
3.数据同步
4.同步基准数据
5.数据同步
6.处理流转
7.数据同步
SN粒度定时历史任务处理
SN粒度历史信号分析区域粒度定时历史任务处理
区域粒度定时历史信号分析
图7 实时监测界面整体图
生产管理体系
图9 历史查询界面
图8 实时监测界面中的一个单元格
拜年英语端在这一频点下分布情况，工程技术人员可以根据MER值的分布分析该频点的故障。如图8。
书包网txt下载
本系统的主要技术指标如下：目前支撑70万用户终端，每秒数据吞吐量约800kB/s，日处理量约8000余万条数据，结果响应时间小于5s，预警准确率在85%以上，精确定位到每个终端每个频点的信号分布，目前可存储查询半年数据。
4 性能分析张飞简介
利用用户终端上报的MER值全样本数据进行区域监测MER值在国内尚属首次，目前，国内有线电视运营商在终端信号监测方面，多采用分布式、多点布置监测的方式进行采样分析。全样本数据分析与采样分析比较，其优势必主要表现如下：
采集全网样本数据，精准定量分析：样本分析，会丢失大量信息，不能精确反映MER值分布情况。而全样本数据则更能精确地反映MER值变化的细节与分布区间，无需单独布点采集数据样本，无需进行样本估计和抽取，直接利用现有用户终端实时上报的全网样本数据进行分析，更精确反映用户使用过程中实际MER值的变化与分布情况。
深度数据挖掘，智能预警异常：对区域MER值上报的数据进行深度的数据挖掘分析，并对挖掘出的异常情况进行不同程度的智能预警，并对异常情况进行分类处理，以图表的形式
对异常数据进行展现，方便工程运维人员对预警情况进行观察。
利用地理信息，定位分析故障：利用地理信息和用户信息进行实时对接，精确定位终端所在的地理区域、所属上游各链路设备及用户信息，可以做到精准定位故障，方便分析问题来源。而且可拓展性好，对于新增加的小区，布点方式需要新增监测点才可以采样，而本系统可以直接对新增小区进行监测预警。
采用自学习策略，定义预警参数：实时采集用户行为数据，并分捡出MER值的数据，采用自动学习策略，分析单个终端单个频点稳定时期的MER值作为基准值，并根据这些基本值初始化其他预警参数。然后利用这些参数，实时监测上报的数据是否存在异常。采用反馈学习机制，自动优化系统，系统采用半监督的机器学习方法，对历史数据分析，通过系统自学习算法与人工调整相结合的策略，对系统内部参数进行训练，使得参数设置更趋于科学合理。
5 结束语
目前，本系统在江苏有线南京分公司完成了原型开发，并进行了实例应用，给一线的运维人员提供了信号预测和故障预
判依据，在一定程度上提高了运维的工作效率。但目前由于MER的值获取是从终端主芯片上得到的，各个芯片厂家的精确度不一样，导致每个机顶盒厂家的基准值范围不一致，会在一定范围内影响预警的效果。
参考文献：
[1]甘凯，李永红，李兆龙等.数字电视中调制差错率(MER)与比特误码率(BER)的关系[J].有线电视技术，2007(11).
[2] 张玉才，倪孜峰，王轶栋.MER在数字电视网络测试中的应用[J].中国有线电视，2010(06).
[3]刘修文.数字电视有线传输技术[M].北京：电子工业出版社, 2002.
作者简介：
张一哲，男，1984年生，硕士，江苏有线技术研究院终端技术部技术经理、工程师，主要从事机顶盒终端技术工作，参与TVOS国家“核高基”项目。
