署门

华为云开源HiLensFramework边缘计算部

署门槛再次降低

作者：邹玉泽

来源：《计算机与网络》2020年第19期

近日，在HUAWEICONNECT？2020期间，华为云CTO张宇昕宣布HiLensFramework

开源。HiLens是业界首个端云协同多模态AI应用开发框架，以简洁统一的API降低AI应用

开发者的上手难度，在保持高性能的前提下，简化开发者工作量。HiLensFramework则为开发

者提供了一套开发工具，让开发者不必重复制造轮子，直接调用相关模块的API，即可规范快

速地开发出高性能的端云协同多模态AI技能和应用。

现代生活中，很多地方都有AI应用落地的场景和例子。比如在线下零售门店中，可以通

过摄像头精准识别用户，实现千人千面的个性化定制服务。在无人车比赛中，高速行驶的无人

车通过快速识别图像，实现实时推理，做出准确决策；在家里，具备AI能力的摄像头，可以

实时看护老人和儿童的状态，一旦发生意外，就能第一时间发出警报；在各行业中通过OCR

文字快速智能识别各种文本和票据等。

这些应用场景中，有些数据敏感且要求实时处理响应，但往往因为网络不够稳定，无法上

传到云端处理，因而采用端云协同方式，结合云上高效开发和边端侧的敏捷快速部署，既能保

证AI计算的性能，又能兼顾用户隐私诉求，更加快捷高效。

但如何实现图像、声音等数据的端云协同AI计算呢？很多方案都存在AI运算能力不强、

难以实现复杂的定制化功能、初学者上手难度太大以及部署繁杂等缺点，无法在工业或商业用

途中大规模落地应用。

华为云关注到这种用户需求，在2018年的华为全联接大会上，推出了业界首个端云协同

多模态AI开发应用平台HuaweiHiLens，支持视频、音频、图片、红外等多模态数据的AI应

用开发、AI应用在线部署以及海量设备管理等，能够对接多种端侧计算设备，为诸多场景的

AI应用提供了更大的发挥空间。

HuaweiHiLens发布两年后的今天，华为云宣布开源HiLensFramework，10min即可学会

开发技能；性能普遍提升3倍，代码量减少80%，开发周期缩短70%，开发成本降低90%。

以音频解码+片段截取+预处理的代码撰写为例，基于TensorFlow/OpenCV需要100+行，

而采用HiLensFramework则只需3行；以模式初始化+推理的代码撰写为例，基于

TensorFlow/OpenCV往往需要20+行，采用HiLensFramework则只需2行。

此次HiLensFramework开源，涉及了音视频输入、媒体处理、模型推理、资源管理、日

志系统、EI服务接口以及输出管理等功能模块，通过HiLensFramework开发的AI应用可移植

运行到任何基于Ascend310设备上，提供常用语言Python和C++接口，符合AI开发者的开发

习惯。

HiLensFramework的开源，能够很好地帮助开发者快速定位AI开发中的问题，进而快速

解决问题，实现端云协同AI的快速开发和落地。同时，将吸引更多的外围设备输入、输出，

更多的外围工具集成等，更将汇聚开发者力量，丰富完善HiLensFramework集成能力，扩大

HiLens端云协同影响力，同时拓展华为昇腾生态和华为云生态。

10倍提升开发效率，加速AI应用落地

AI应用开发框架HiLensFramework是打通端云协同的重要技术环节，与开发环境HiLens

Studio、管理平台和多模态AI技能市场一起，大大加速了开发者的开发效率，帮助行业快速构

建设备端与云上能力高效协同的HiLens智慧解决方案，通过HiLens？Kit、Atlas500智能小站

以及第三方商用摄像头等端侧设备，提供了高效易用、成本低廉的AI应用开发方案，能够快

速部署于商超、园区、家庭及工业等应用场景。

AI落地使用边缘计算的应用场景时，往往场景数据存在差异，难以用一个AI模型达到最

佳性能。华为云HiLens與边缘云创新lab技术合作，推出难例上传与ModelArtsProHiLens套

件结合的增量学习模板，实现了对模型的增量训练，使得AI模型在具体应用场景中越用越聪

明。

例如，某工厂出于安全原因，采用视频监控智能检测现场人员安全帽佩戴情况。项目部署

方在HiLens技能市场检索后发现，这一应用场景已有基础模型，直接购买安装后先搭建出基

础的技能；再通过HiLensFramework的接口将难以识别的部分数据筛选出来，上传到自己账

户下的云端存储，借助ModelArtsProHiLens套件，在基础模型上增量训练，使得模型越用越

聪明，最终训练出符合该工厂环境的模型，实现根据具体应用场景的模型定制化。在这一过程

中，该工厂仅用800张安全帽检测实践数据，就将模型精度从80%快速提升到90%，漏检率

从25%下降到10%，通过几次难例上传与迭代，部署时间从计划的3个月缩减到1个月，有

效推进了行业应用落地。

端云协同拓展新生态

HiLensFramework的开源如水到渠成，不止向开发者提供了一个AI应用的高效开发框

架，还进一步推动了华为云HiLens与华为云ModelArtsPro视觉计算AI平台的结合，形成一

整套的AI模型训练、应用开发和分发部署的端云协同管理平台。

当HiLens用户通过HiLensFramework连接到ModelArtsPro，就进入了一个更加广阔的

AI世界，联接了从昇腾芯片、MindSpore开发框架，再到华为全栈全场景AI解决方案，以及

华为不断积累的各行业AI经验。

此次HiLensFramework的开源，如同一条金线，一头串起华为云的云端AI能力，另一头

串起更多AI场景，让云端协同的边缘计算更易于部署落地，推动AI更加普惠，在开发者的共

同推动下，AI将拓展到日常生产、生活的方方面面，和每个人都息息相关。