一种基于DataX的物联网边缘数据采集网关及其实现方法与流程
一种基于datax的物联网边缘数据采集网关及其实现方法
技术领域
1.本发明涉及物联网应用技术领域，具体的说是一种基于datax的物联网边缘数据采集网关及其实现方法。
背景技术：
2.物联网在工业、农业、交通、能源、智慧城市等各个领域被广泛应用，并由此产生了大量的物联网数据。
3.如何能够便捷的采集各类不同协议的物联网设备数据，以及将物联网数据接入不同数据应用，同时与组织内其他数据深度融合，以挖掘数据潜在价值，成为“万物互联”时代首要解决的问题。
技术实现要素：
4.本发明针对目前技术发展的需求和不足之处，提供一种基于datax的物联网边缘数据采集网关及其实现方法。
5.首先，本发明的一种基于datax的物联网边缘数据采集网关，解决上述技术问题采用的技术方案如下：
6.一种基于datax的物联网边缘数据采集网关，其基于开源数据同步工具datax的framework+plugin架构，包括：
7.扩展模块，用于对datax reader插件进行扩展编写，以适配各类物联网设备的接入协议，还用于对datax writer插件进行扩展编写，以适配不同协议的数据源；
8.打包发布模块，用于将编写完成的datax reader插件和datax writer插件在datax中打包发布；
9.部署模块，用于将datax部署在物联网设备边缘侧；
10.协议组合模块，用于将适配某类物联网设备接入协议的datax reader插件和适配某类协议数据源的datax writer插件组合为一个datax job；
11.定义模块，用于在datax job中定义蕴含边缘侧数据清洗逻辑的datax transformer，实现对边缘侧接入数据的处理；
12.启动模块，用于启动datax job，datax job通过task及taskgoup并行机制，进行数据传输，以通过datax reader插件将一类物联网设备协议的数据接入，通过datax writer插件将接入数据转发至目标数据源。
13.可选的，所涉及扩展模块扩展编写datax reader插件和datax writer插件的过程中，同时实现job和task两个内部抽象类，在task类的startread方法中实现将物联网设备接入数据写入datax reader插件和datax writer插件之间的framework。
14.可选的，所涉及打包发布模块在plugin.json文件中定义datax reader插件和datax writer插件，使用assembly将定义后的datax reader插件和datax writer插件在datax中打包发布。
15.可选的，对边缘侧接入数据的处理包括清洗、过滤、加密、质量稽核、简单计算。
16.其次，本发明的一种基于datax的物联网边缘数据采集网关实现方法，解决上述技术问题采用的技术方案如下：
17.一种基于datax的物联网边缘数据采集网关实现方法，包括如下步骤：
18.s1、基于开源数据同步工具datax的framework+plugin架构，编写适配各类物联网设备接入协议的datax reader插件，编写适配不同协议数据源的datax writer插件；
19.s2、将编写完成的datax reader插件和datax writer插件在datax中打包发布；
20.s3、将datax部署在物联网设备边缘侧，适配某类物联网设备接入协议的datax reader插件和适配某类协议数据源的datax writer插件组合为一个datax job，启动该datax job，即可实现一类物联网设备协议的数据接入以及将接入数据转发至目标数据源；
21.s4、在datax job中定义蕴含边缘侧数据清洗逻辑的datax transformer，实现对边缘侧接入数据的处理；
22.s5、启动datax job，通过datax的task及taskgoup并行机制，实现数据传输；
23.s6、通过datax writer插件，将接入的物联网设备数据写入对应的数据源。
24.可选的，执行步骤s1编写datax reader插件和datax writer插件的过程中，同时实现job和task两个内部抽象类，在task类的startread方法中实现将物联网设备接入数据写入datax reader插件和datax writer插件之间的framework。
25.可选的，执行步骤s2的具体操作为：
26.在plugin.json文件中定义datax reader插件和datax writer插件，使用assembly将定义后的datax reader插件和datax writer插件在datax中打包发布。
27.可选的，执行步骤s4，对边缘侧接入数据的处理包括：
28.清洗、过滤、加密、质量稽核、简单计算。
29.本发明的一种基于datax的物联网边缘数据采集网关及其实现方法，与现有技术相比具有的有益效果是：
30.本发明通过扩展reader插件，实现不同物联网接入协议，通过扩展writer插件，将接入的物联网数据传输到不同协议数据源，通过将实现了物联网接入协议的datax组件部署在设备边缘侧，利用datax的数据转换能力提供设备边缘侧的数据处理，利用datax的高并发传输机制以及容错机制实现接入数据的低延迟、高可靠传输，并将接入数据传输至多种数据源，以满足物联网数据融入业务应用的数据接入需求。
附图说明
31.附图1是本发明实施例一的结构框图；
32.附图2是本发明对datax插件扩展的示意图；
33.附图3是本发明将datax reader插件在datax中打包发布的目录示意图；
34.附图4是本发明启动datax job进行现数据传输的示意图。
35.附图中各标号信息表示：
36.1、扩展模块，2、datax reader插件，3、datax writer插件，4、部署模块，
37.5、协议组合模块，6、定义模块，7、启动模块，8、打包发布模块。
具体实施方式
38.为使本发明的技术方案、解决的技术问题和技术效果更加清楚明白，以下结合具体实施例，对本发明的技术方案进行清楚、完整的描述。
39.实施例一：
40.结合附图1-4，本实施例提出一种基于datax的物联网边缘数据采集网关，其基于开源数据同步工具datax的framework+plugin架构，包括：扩展模块1、打包发布模块8、部署模块4、协议组合模块5、定义模块6、启动模块7。
41.通过扩展模块1，对datax reader插件2进行扩展编写，以适配各类物联网设备的接入协议，对datax writer插件3进行扩展编写，以适配不同协议的数据源。这一过程中，同时实现job和task两个内部抽象类，在task类的startread方法中实现将物联网设备接入数据写入datax reader插件2和datax writer插件3之间的framework。
42.通过打包发布模块8，将编写完成的datax reader插件2和datax writer插件3在datax中打包发布。具体的，打包发布模块8在plugin.json文件中定义datax reader插件2和datax writer插件3，使用assembly将定义后的datax reader插件2和datax writer插件3在datax中打包发布。
43.通过部署模块4，将datax部署在物联网设备边缘侧。
44.通过协议组合模块5，将适配某类物联网设备接入协议的datax reader插件2和适配某类协议数据源的datax writer插件3组合为一个datax job。
45.通过定义模块6，在datax job中定义蕴含边缘侧数据清洗逻辑的datax transformer，实现对边缘侧接入数据的清洗、过滤、加密、质量稽核、简单计算等处理。
46.通过启动模块7，启动datax job；
47.datax job通过task及taskgoup并行机制，进行数据传输，以通过datax reader插件2将一类物联网设备协议的数据接入，通过datax writer插件3将接入数据转发至目标数据源。
48.实施例二：
49.结合附图2-4，本实施例提出一种基于datax的物联网边缘数据采集网关实现方法，包括如下步骤：
50.s1、基于开源数据同步工具datax的framework+plugin架构，编写适配各类物联网设备接入协议的datax reader插件，编写适配不同协议数据源的datax writer插件。
51.执行步骤s1，编写datax reader插件和datax writer插件的过程中，同时实现job和task两个内部抽象类，在task类的startread方法中实现将物联网设备接入数据写入datax reader插件和datax writer插件之间的framework，具体参考附图2,。
52.s2、在plugin.json文件中定义datax reader插件和datax writer插件，使用assembly将定义后的datax reader插件和datax writer插件在datax中打包发布；附图3仅展示了datax reader插件的打包发布目录。
53.s3、将datax部署在物联网设备边缘侧，适配某类物联网设备接入协议的datax reader插件和适配某类协议数据源的datax writer插件组合为一个datax job，启动该datax job，即可实现一类物联网设备协议的数据接入以及将接入数据转发至目标数据源。
54.s4、在datax job中定义蕴含边缘侧数据清洗逻辑的datax transformer，实现对
边缘侧接入数据的清洗、过滤、加密、质量稽核、简单计算等处理。
55.s5、启动datax job，通过datax的task及taskgoup并行机制，实现数据传输，参考附图4。
56.s6、通过datax writer插件，将接入的物联网设备数据写入对应的数据源，参考附图4。
57.综上可知，采用本发明的一种基于datax的物联网边缘数据采集网关及其实现方法，一方面，可以接入不同物联网协议的数据，并将接入的物联网数据传输到不同协议数据源，另一方面，通过将实现了物联网接入协议的datax组件部署在设备边缘侧，可以提供物联网设备边缘侧的数据处理，实现接入数据的低延迟、高可靠传输。
58.以上应用具体个例对本发明的原理及实施方式进行了详细阐述，这些实施例只是用于帮助理解本发明的核心技术内容。基于本发明的上述具体实施例，本技术领域的技术人员在不脱离本发明原理的前提下，对本发明所作出的任何改进和修饰，皆应落入本发明的专利保护范围。
技术特征：
1.一种基于datax的物联网边缘数据采集网关，其特征在于,其基于开源数据同步工具datax的framework+plugin架构，包括：扩展模块，用于对datax reader插件进行扩展编写，以适配各类物联网设备的接入协议，还用于对datax writer插件进行扩展编写，以适配不同协议的数据源；打包发布模块，用于将编写完成的datax reader插件和datax writer插件在datax中打包发布；部署模块，用于将datax部署在物联网设备边缘侧；协议组合模块，用于将适配某类物联网设备接入协议的datax reader插件和适配某类协议数据源的datax writer插件组合为一个datax job；定义模块，用于在datax job中定义蕴含边缘侧数据清洗逻辑的datax transformer，实现对边缘侧接入数据的处理；启动模块，用于启动datax job，datax job通过task及taskgoup并行机制，进行数据传输，以通过datax reader插件将一类物联网设备协议的数据接入，通过datax writer插件将接入数据转发至目标数据源。2.根据权利要求1所述的一种基于datax的物联网边缘数据采集网关，其特征在于，所述扩展模块扩展编写datax reader插件和datax writer插件的过程中，同时实现job和task两个内部抽象类，在task类的startread方法中实现将物联网设备接入数据写入datax reader插件和datax writer插件之间的framework。3.根据权利要求1所述的一种基于datax的物联网边缘数据采集网关，其特征在于，所述打包发布模块在plugin.json文件中定义datax reader插件和datax writer插件，使用assembly将定义后的datax reader插件和datax writer插件在datax中打包发布。4.根据权利要求1所述的一种基于datax的物联网边缘数据采集网关，其特征在于，对边缘侧接入数据的处理包括清洗、过滤、加密、质量稽核、简单计算。5.一种基于datax的物联网边缘数据采集网关实现方法，其特征在于，包括如下步骤：s1、基于开源数据同步工具datax的framework+plugin架构，编写适配各类物联网设备接入协议的datax reader插件，编写适配不同协议数据源的datax writer插件；s2、将编写完成的datax reader插件和datax writer插件在datax中打包发布；s3、将datax部署在物联网设备边缘侧，适配某类物联网设备接入协议的datax reader插件和适配某类协议数据源的datax writer插件组合为一个datax job，启动该datax job，即可实现一类物联网设备协议的数据接入以及将接入数据转发至目标数据源；s4、在datax job中定义蕴含边缘侧数据清洗逻辑的datax transformer，实现对边缘侧接入数据的处理；s5、启动datax job，通过datax的task及taskgoup并行机制，实现数据传输；s6、通过datax writer插件，将接入的物联网设备数据写入对应的数据源。6.根据权利要求5所述的一种基于datax的物联网边缘数据采集网关实现方法，其特征在于，执行步骤s1编写datax reader插件和datax writer插件的过程中，同时实现job和task两个内部抽象类，在task类的startread方法中实现将物联网设备接入数据写入datax reader插件和datax writer插件之间的framework。7.根据权利要求5所述的一种基于datax的物联网边缘数据采集网关实现方法，其特征
在于，执行步骤s2的具体操作为：在plugin.json文件中定义datax reader插件和datax writer插件，使用assembly将定义后的datax reader插件和datax writer插件在datax中打包发布。8.根据权利要求5所述的一种基于datax的物联网边缘数据采集网关实现方法，其特征在于，执行步骤s4，对边缘侧接入数据的处理包括：清洗、过滤、加密、质量稽核、简单计算。
技术总结
本发明公开一种基于DataX的物联网边缘数据采集网关及其实现方法，涉及物联网应用技术领域，其实现内容包括：其基于开源数据同步工具DataX的Framework+plugin架构，编写适配各类物联网设备接入协议的DataX Reader插件，编写适配不同协议数据源的DataX Writer插件；将两个插件在DataX中打包发布；将DataX部署在物联网设备边缘侧；将适配某类物联网设备接入协议的DataX Reader插件和适配某类协议数据源的DataX Writer插件组合为一个DataX Job；在DataX Job中定义蕴含边缘侧数据清洗逻辑的DataX Transformer，实现对接入数据的处理；启动DataXJob，通过Task及TaskGoup并行机制进行数据传输，以通过DataX Reader插件将一类物联网设备协议的数据接入，通过DataX Writer插件将接入数据转发至目标数据源。本发明可以满足物联网数据融入业务应用的数据接入需求。物联网数据融入业务应用的数据接入需求。物联网数据融入业务应用的数据接入需求。
