大数据时代的到来,以及相关大数据基础架构技术的革新,为海量交通安全数据的灵活存储、快速挖掘和整合应用打开了一个全新的视角,也为构建全新的智慧交通端到端系统提供了技术支持。
作为业界领先的监控产品供应商和解决方案服务商,大华* 技术股份有限公司面向全球提供领先的视频存储、前端、显示控制和智能交通等系列化产品,在全球安防视频监控市场占有率位列第二,是中国平安城市建设推荐品牌和中国安防最具影响力品牌之一。产品广泛应用于公安、金融、交通、能源、通信等关键领域,并相继问鼎三峡水电、六国峰会,奥运场馆、上海世博、广州亚运、陕西世界园艺博览会、英国伦敦地铁等重大工程项目。大华基于英特尔® 架构全新的智慧交通端到端方案能够满足智慧城市在交通管理上的新的需求,在可靠性,可扩展性,安全性,先进性以及开放性等方面有着优异的表现。
作为智慧城市的重要组成部分,智慧交通近年来在相关信息化建设上发展迅猛,尤其随着物联网技术的蓬勃发展,交通信息的采集手段和数据种类得到了极大地丰富:已经涵盖了包括道路视频监控、卡口电警、路况信息、管控信息、营运信息、GPS 定位信息、RFID 识别信息、到离站信息、客流信息等多种信息来源。而数据生成的自动化以及生成速度的加快,需要处理的数据量急剧膨胀,其内在的跨域关联分析和价值深度挖掘也凾待新的端到端的解决方案来应对
这一趋势。
案例分析
形容植物的成语智慧交通端到端解决方案
基于英特尔® 架构的大华* 智慧交通端到端解决方案
挑战
随着移动终端和汽车电子的普及,以及智能交通系统的持续建设,城市产生的交通数据量呈现指数性增长,这不仅对数据的存放带来压力,同时也给数据的分析提出了更高的要求,而传统的智能交通技术已经难以满足如今的现状,新的智慧交通端到端方案需要解决如下问题:
• 前端数据预处理和传输:智能传感器产生巨量的数据,例如卡口/电警数据、 GPS 数据。如何有效利用前端设备的
计算资源进行数据预处理,通过网络进行传输,并进行有效的存储和查询。
• 后端数据中心处理:如何有效利用新的大数据技术和平台进行数据的快速挖掘和整合应用。
• 数据的灵活管理调度:如何有效的管理和应用好智慧交通中产生的复杂多样的结构化数据,非结构化数据和半结构化数据(如图片、视频、音频等)。
解决方案
交通端到端系统通常包括前端设备(如:网络摄像机,网络硬盘录像机等)和后端设备(如数据中心等)。传统的方案将数据的采集和存储作为前端任务,而将数据的分析作为后端任务。各种传感器技术的应用造成数据种类复杂多样,非结构化数据所占比重快速上升,海量增长的数据也对网络传输和后端处理能力造成很大的压力。基于英特尔® X86 平台的新型智慧交通端到端方案将部分预处理类型的数据分析任务放在前端完成,有效地缓解了后端数据挖掘分析的工作压力,同时有效的减少了网络传输中带宽的压力,将非结构化的体量大、价值小的信息,在前端分析处理后,形成体量小,价值大的半结构化,结构化信息向后端进行传输。英特尔® 架构提供的低功耗高性能的从嵌入式设备到数据中心的全系统的参考平台(包括
英特尔® Quark™、英特尔® 凌动™、
英特尔® 酷睿™、英特尔® 至强® 等)为新
方案的实施提供了坚强的技术保证。
• 前端技术
英特尔® 凌动™ 及英特尔® 酷睿™ 处理器
平台具有高可靠性,高功耗性能比,高
可扩展性等性能优势。大华*技术股份
有限公司基于英特尔® 凌动™ 及英特尔®
酷睿™ 处理器平台研发的智能网络录像
机支持主流品牌网络摄像机接入,最
大实现 128 路全高清接入,384Mbps
接入、256Mbps 存储、384Mbps
转发;支持H.265/H.264/MPEG4/
MJPEG 等多种主流及最先进的视频
编码格式;支持 2 路 HDMI 和 1 路
VGA,业内率先支持 4K 超清输出,让
用户看得 “更真”,看得 “更清”;支持
全面智能,减轻用户维护量,节省用户
人力成本,提升用户价值。产品可广泛
最善良的星座应用于画质和网络传输要求高存储时间李庆明
较长的金融、公安、电力、平安城市等
专业安防监控领域 。
一般的网络硬盘录像机仅仅被用来存储
录像相关的业务,并没有充分的发挥
设备性能。大华* 技术股份有限公司的
Smart NVR 设备,将视频存储与智能
分析进行高效融合,即保持了 NVR 原
有的录像存储功能,又实时的进行智能
分析,提取视频中关键的人车物线索,
并进行结构化标注。
通过 Smart NVR 对前端高清视频进行
实时分析。分析后的结构化信息以及视
频图像资源先存储至本地 Smart NVR
我的成长档案
中,然后再同过端到端技术同步至后端
分布式大数据系统中。该技术方案及充
分发挥了英特尔® 处理器的强大计算性
能,在前端就实现了智能化,提升了整
体端到端系统的能力,降低了整体端到
端系统的成本。
度我
• 后端技术
基于英特尔® 至强® 处理器平台,并利
用 Spark、Hadoop 等大数据处理技
术,搭建了一个类 Lambda/Kappa 架构,在单一系统架构中同时提供大规模过车数据的实时采集汇总,实时分析
和离线挖掘等功能。在这个构架中,
我们采用了 Kafka、Spark、Spark
Streaming、HBa 等开源大数据技
术,实现海量交通数据(可以是文本、图像、视频等各种结构化、半结构化和非结构化数据)的处理。
根据 Lambda 构架,大数据处理系统
逻辑上由批处理层、速度层和服务层
组成。
在速度层(Speed Layer),系统采用了 Spark Streaming 对 Kafka 导入的
流式数据进行实时流式分析处理。在这层可以实现实时统计、实时套牌分析等高级分析应用。同时,将实时数据存入 HBa 中作为历史数据。
在批处理层(Batch Layer),系统使
隆昌古宇湖用了 Spark 计算引擎对数据进行批量
预计算,并将预计算结果存入 HBa
之中。这样在 HBa 中存储了提供服
务层查询使用的索引视图。
在服务层(Servicing Layer):既可以
通过 HBa 接口加载查询历史数据和批
处理视图,也可以使用 Spark 或 Spark
SQL 计算引擎实现统计查询功能。
基于 Spark 计算引擎平台优势
实时性。Spark Streaming 的实时分析处
理实现了实时统计,实时分析等功能。
低延时。Spark 基于内存的计算,避免了
对 IO 的依赖,大大减少了 IO 开销;基于
Lambda 架构的设计,利用批处理和流处
理的互为补充,在提供机器容错的同时,
有效地实现了低延迟和人工容错。
大规模数据处理。分布式计算构架,可以
通过增加计算节点线性扩充处理能力,轻
松实现大规模数据的处理分析,满足业务
发展需要。
统一的系统架构。在单一的 Spark 系统架
构内实现了批处理、流式计算和实时分析
等大数据应用。与时下流行的 Hadoop +
Storm 的方案相比,不需要在两个或更多
的复杂的分布式系统中维护代码,避免了
跨系统编程带来的代码开销。
优化的分析和算法。Spark 对迭代式计算
的支持,可以支持更加复杂的机器学习及
图像处理算法。
(“Plumbing”)
Load Balance & Data
Storage(HDFS, HBas e)
Backend / Cloud Analytics
智慧交通端到端解决方案 — 基于英特尔® 架构的大华* 智慧交通端到端解决方案
案例分析Array大华* 技术股份有限公司基于英特尔® 架
构全新的智慧交通端到端方案能够满足智
慧城市在交通管理上的新的需求,在可靠
性,可扩展性,安全性,先进性以及开放
性等方面有着优异的表现。
某市成功应用大华* 智慧交通端到端方案
构建车辆大数据研判判系统,整合了前端
卡口系统(包括公安的卡口数据和部分交
警卡口数据)的结构化记录信息和非结构
化的图片和视频信息,实现了智慧城市交
通安全管理的需求:过车数据的实时采集
汇总,实时分析(如车牌识别,车型识
别,车辆颜色识别,套牌车识别,高危车
辆报警,黑名单布控等)和离线数据碰撞
(如基于案发地,案发时间的嫌疑车辆排存单和存折的区别
查,卡口流量统计,跟车关联分析等)。
该系统目前平均每天处理过车数据 150
电脑输入法
万条左右,取得了良好的运行效果。
英特尔,英特尔标志,英特尔凌动,英特尔酷睿,Intel Inside,Intel Inside 标志,Quark 和至强是英特尔公司在美国和/或其他国家(地区)的商标。
*文中涉及的其它名称及商标属于各自所有者资产。