本文作者:kaifamei

一种基于分布式分发网络存储介质及建设成本控制共识方法与流程

更新时间:2025-01-11 05:05:43 0条评论

一种基于分布式分发网络存储介质及建设成本控制共识方法与流程



1.本发明属于区块链储存技术领域,具体为一种基于分布式分发网络存储介质及建设成本控制共识方法。


背景技术:



2.区块链是分布式数据存储、点对点传输、共识机制、加密算法等计算机技术的新型应用模式,区块链(blockchain),是比特币的一个重要概念,它本质上是一个去中心化的数据库,同时作为比特币的底层技术,是一串使用密码学方法相关联产生的数据块,每一个数据块中包含了一批次比特币网络交易的信息,用于验证其信息的有效性(防伪)和生成下一个区块。
3.bcdn(blockchain-backed content delivery network)是一种使用区块链技术的分布式内容分发网络,bcdn使用区块链技术,通过挖掘利用边缘网络海量闲置资源构建存储及分发节点集,实现高性能的cdn网络。
4.前端上传文件时如果文件很大,上传时会出现各种问题,比如连接超时了,网断了,都会导致上传失败,在应用了bcdn技术的区块链储存介质中,其中,对于数据的切片、打散分配和检索聚合,往往需要采用频繁对储存节点集进行数据传输,现有的技术,往往会去中心化的数据流无法得到准确的记录,在后续的优化收益时,无法根据各个储存节点集所出借的贡献(存储/带宽/cpu/内存)进行量化,导致整个系统存在后端偷跑数据的可能性,且无法量化收益,无法给予后续维护人员扩充数据储存空间建议,无法量化储/带宽/cpu/内存的需求量。


技术实现要素:



5.本发明的目的在于:解决背景技术中所提出的问题,提供一种基于分布式分发网络存储介质及建设成本控制共识方法。
6.本发明采用的技术方案如下:一种基于分布式分发网络存储介质,包括:
7.bcdn网络模块,用于数据的传输、加密、解密、数据流量记录。
8.储存节点集,用于去中心化储存。
9.个人模块,用于个人资源服务。
10.所述bcdn网络模块与储存节点集之间双向信号连接,所述bcdn网络模块与个人模块之间双向信号连接,所述储存节点集包括网络安全模块、设备热插模块、资源积分模块、bcdn路由模块、高并发共识模块、文件解密及传输模块、交易存证模块、聚合模块与索引表检索模块。
11.进一步的,所述储存节点集包括文件切片模块、分配模块、上传模块与索引表生成更新模块。
12.进一步的,所述个人模块包括资源请求模块与储存模块。
13.进一步的,所述储存节点集包括多个储存节点。
14.进一步的,所述网络安全模块支持目前主流加密及安全协议,包括但不限于同态加密、差分隐私、分布式零知识证明与ca证书,所述网络安全模块用于用户数据及通信安全。
15.进一步的,所述设备热插模块,在单个节点的计算设备可随时加入或者推出bcdn网络,设备的增删不会影响cdn网络的整体性能。
16.进一步的,所述储存节点集通过接入bcdn网络,用户的闲置计算设备可按照其对网络的贡献(存储/带宽/cpu/内存),从cdn使用者获得相应的积分,而cdn使用者需按照其使用的资源支付积分。
17.进一步的,所述bcdn网络模块的高并发共识模块配备了适用于高并发量的共识算法,该共识算法基于状态复制和投票选举算流进行出块,bcdn网络模块的共识算法是一种不会产生分叉且强一致性的算法,用户交易可在秒级时间确认,保障底层数据的一致性的同时,能抵抗恶意节点的影响。
18.进一步的,所述bcdn网络模块还包括区块链治理层,其用于管理存储及分发节点域集。
19.一种基于分布式分发网络存储介质的建设成本控制共识方法,应用上述任意一项所述的一种基于分布式分发网络存储介质,包括如下步骤:
20.步骤一、bcdn网络模块将加密后的文件路由至储存节点集中的某一特定节点,流程开始。
21.步骤二、储存节点集的存储节点将传至本节点的文件通过文件切片模块的kademlia-dht算法进行文件切片。
22.步骤三、分配模块将文件切片随机分配至存储集的各节点中,kademlia算法确保文件切片分布平均。
23.步骤四、储存节点集中的索引表生成更新模块,生成文件索引表,同步索引表,存储节点集中各节点同步其他节点的索引表,
24.步骤五、索引表同步完成后,存储节点回调状态信息及索引表信息至bcdn网络模块的索引表检索模块。
25.步骤六、首先个人模块的资源请求模块发出资源需求命令。
26.步骤七、随后bcdn网络模块通过bcdn路由模块,驱动索引表生成更新模块,完成检索。
27.步骤八、储存节点集按照文件切片索引查询文件。
28.步骤九、bcdn网络模块通过聚合模块的文件聚合算法聚合文件,bcdn网络模块使用资源积分模块的激励算法计算按照资源贡献情况节点应获得的激励,bcdn网络模块通过网网络安全模块的安全协议对文件进行安全传输并解密,bcdn网络模块将产生的激励交易数据上链存证,交易信息不可篡改并可全程追溯。
29.综上所述,由于采用了上述技术方案,本发明的有益效果是:
30.本发明中,通过此激励算法,计算资源使用者的支出和资源贡献者的收入。从而实现高效的数据转发和热点内容智能路由,在后续的建设过程中,通过对用户终端出借的资源(存储/带宽/cpu/内存)进行计算,同时结合实时数据流量,可以给予互联储存节点集建设的需求进行量化,方便维护人员给予建议,获取优质的资源进行互联,提高bcdn网络的
资源容量,保证了数据储存服务水平。
附图说明
31.图1为本发明基于分布式分发网络存储介质的连接示意图;
32.图2为本发明bcdn网络模块的示意图;
33.图3为本发明储存节点集的示意图;
34.图4为本发明个人模块的示意图;
35.图5为本发明建设成本控制共识方法的流程示意图。
36.图中标记:1、bcdn网络模块;2、储存节点集;3、个人模块。
具体实施方式
37.为了使本发明的目的、技术方案及优点更加清楚明白,以下结合附图及实施例,对本发明进行进一步详细说明。应当理解,此处所描述的具体实施例仅用以解释本发明,并不用于限定本发明。
38.实施例一
39.参照图1-图5:一种基于分布式分发网络存储介质,包括:
40.bcdn网络模块1,用于数据的传输、加密、解密、数据流量记录。
41.储存节点集2,用于去中心化储存。
42.个人模块3,用于个人资源服务。
43.bcdn网络模块1与储存节点集2之间双向信号连接,bcdn网络模块1与个人模块3之间双向信号连接,储存节点集2包括网络安全模块、设备热插模块、资源积分模块、bcdn路由模块、高并发共识模块、文件解密及传输模块、交易存证模块、聚合模块与索引表检索模块,储存节点集2包括文件切片模块、分配模块、上传模块与索引表生成更新模块,个人模块3包括资源请求模块与储存模块,储存节点集2包括多个储存节点,网络安全模块支持目前主流加密及安全协议,包括但不限于同态加密、差分隐私、分布式零知识证明与ca证书,网络安全模块用于用户数据及通信安全,设备热插模块,在单个节点的计算设备可随时加入或者推出bcdn网络,设备的增删不会影响cdn网络的整体性能,储存节点集2通过接入bcdn网络,用户的闲置计算设备可按照其对网络的贡献存储/带宽/cpu/内存,从cdn使用者获得相应的积分,而cdn使用者需按照其使用的资源支付积分,bcdn网络模块1的高并发共识模块配备了适用于高并发量的共识算法,该共识算法基于状态复制和投票选举算流进行出块,bcdn网络模块1的共识算法是一种不会产生分叉且强一致性的算法,用户交易可在秒级时间确认,保障底层数据的一致性的同时,能抵抗恶意节点的影响,bcdn网络模块1还包括区块链治理层,其用于管理存储及分发节点域集。
44.参照图1-图5:一种基于分布式分发网络存储介质的建设成本控制共识方法,应用上述任意一项的一种基于分布式分发网络存储介质,包括如下步骤:
45.步骤一、bcdn网络模块1将加密后的文件路由至储存节点集2中的某一特定节点,流程开始,步骤二、储存节点集2的存储节点将传至本节点的文件通过文件切片模块的kademlia-dht算法进行文件切片,前端上传文件时如果文件很大,上传时会出现各种问题,比如连接超时了,网断了,都会导致上传失败,为了避免上传大文件时上传超时,就需要
用到切片上传,工作原理是:我们将大文件切割为小文件,然后将切割的若干小文件上传到服务器端,服务器端接收到被切割的小文件,然后按照一定的顺序将小文件拼接合并成一个大文件,步骤三、分配模块将文件切片随机分配至存储集的各节点中,kademlia算法确保文件切片分布平均,步骤四、储存节点集2中的索引表生成更新模块,生成文件索引表,同步索引表,存储节点集中各节点同步其他节点的索引表,步骤五、索引表同步完成后,存储节点回调状态信息及索引表信息至bcdn网络模块1的索引表检索模块,步骤六、首先个人模块3的资源请求模块发出资源需求命令,步骤七、随后bcdn网络模块1通过bcdn路由模块,路由的概念来源于服务端,在服务端中路由描述的是url与处理函数之间的映射关系,在web前端单页应用spa(single page application)中,路由描述的是url与ui之间的映射关系,这种映射是单向的,即url变化引起ui更新(无需刷新页面),主要有哈西路由hash路由、history模式驱动索引表生成更新模块,完成检索,步骤八、储存节点集2按照文件切片索引查询文件,步骤九、bcdn网络模块1通过聚合模块的文件聚合算法聚合文件,bcdn网络模块1使用资源积分模块的激励算法计算按照资源贡献情况节点应获得的激励,bcdn网络模块1通过网网络安全模块的安全协议对文件进行安全传输并解密,bcdn网络模块1将产生的激励交易数据上链存证,交易信息不可篡改并可全程追溯。
46.以上所述仅为本发明的较佳实施例而已,并不用以限制本发明,凡在本发明的精神和原则之内所作的任何修改、等同替换和改进等,均应包含在本发明的保护范围之内。

技术特征:


1.一种基于分布式分发网络存储介质,其特征在于,包括:bcdn网络模块(1),用于数据的传输、加密、解密、数据流量记录;储存节点集(2),用于去中心化储存;个人模块(3),用于个人资源服务;所述bcdn网络模块(1)与储存节点集(2)之间双向信号连接,所述bcdn网络模块(1)与个人模块(3)之间双向信号连接,所述储存节点集(2)包括网络安全模块、设备热插模块、资源积分模块、bcdn路由模块、高并发共识模块、文件解密及传输模块、交易存证模块、聚合模块与索引表检索模块。2.如权利要求1所述的一种基于分布式分发网络存储介质,其特征在于:所述储存节点集(2)包括文件切片模块、分配模块、上传模块与索引表生成更新模块。3.如权利要求1所述的一种基于分布式分发网络存储介质,其特征在于:所述个人模块(3)包括资源请求模块与储存模块。4.如权利要求1所述的一种基于分布式分发网络存储介质,其特征在于:所述储存节点集(2)包括多个储存节点。5.如权利要求1所述的一种基于分布式分发网络存储介质,其特征在于:所述网络安全模块支持目前主流加密及安全协议,包括但不限于同态加密、差分隐私、分布式零知识证明与ca证书,所述网络安全模块用于用户数据及通信安全。6.如权利要求1所述的一种基于分布式分发网络存储介质,其特征在于:所述设备热插模块,在单个节点的计算设备可随时加入或者推出bcdn网络,设备的增删不会影响cdn网络的整体性能。7.如权利要求1所述的一种基于分布式分发网络存储介质,其特征在于:所述储存节点集(2)通过接入bcdn网络,用户的闲置计算设备可按照其对网络的贡献(存储/带宽/cpu/内存),从cdn使用者获得相应的积分,而cdn使用者需按照其使用的资源支付积分。8.如权利要求1所述的一种基于分布式分发网络存储介质,其特征在于:所述bcdn网络模块(1)的高并发共识模块配备了适用于高并发量的共识算法,该共识算法基于状态复制和投票选举算流进行出块,bcdn网络模块(1)的共识算法是一种不会产生分叉且强一致性的算法,用户交易可在秒级时间确认,保障底层数据的一致性的同时,能抵抗恶意节点的影响。9.如权利要求1所述的一种基于分布式分发网络存储介质,其特征在于:所述bcdn网络模块(1)还包括区块链治理层,其用于管理存储及分发节点域集。10.一种基于分布式分发网络存储介质的建设成本控制共识方法,其特征在于,应用有如权利要求1-9中任意一项所述的一种基于分布式分发网络存储介质,包括如下步骤:s1、bcdn网络模块(1)将加密后的文件路由至储存节点集(2)中的某一特定节点,流程开始;s2、储存节点集(2)的存储节点将传至本节点的文件通过文件切片模块的kademlia-dht算法进行文件切片;s3、分配模块将文件切片随机分配至存储集的各节点中,kademlia算法确保文件切片分布平均;s4、储存节点集(2)中的索引表生成更新模块,生成文件索引表,同步索引表,存储节
点集中各节点同步其他节点的索引表,s5、索引表同步完成后,存储节点回调状态信息及索引表信息至bcdn网络模块(1)的索引表检索模块;s6、首先个人模块(3)的资源请求模块发出资源需求命令;s7、随后bcdn网络模块(1)通过bcdn路由模块,驱动索引表生成更新模块,完成检索;s8、储存节点集(2)按照文件切片索引查询文件;s9、bcdn网络模块(1)通过聚合模块的文件聚合算法聚合文件,bcdn网络模块(1)使用资源积分模块的激励算法计算按照资源贡献情况节点应获得的激励,bcdn网络模块(1)通过网网络安全模块的安全协议对文件进行安全传输并解密,bcdn网络模块(1)将产生的激励交易数据上链存证,交易信息不可篡改并可全程追溯。

技术总结


本发明公开了一种基于分布式分发网络存储介质及建设成本控制共识方法,包括:BCD网络模块,用于数据的传输、加密、解密、数据流量记录,储存节点集,用于去中心化储存,个人模块,用于个人资源服务,BCD网络模块与储存节点集之间双向信号连接。本发明中,通过此激励算法,计算资源使用者的支出和资源贡献者的收入。从而实现高效的数据转发和热点内容智能路由,在后续的建设过程中,通过对用户终端出借的资源(存储/带宽/CPU/内存)进行计算,同时结合实时数据流量,可以给予互联储存节点集建设的需求进行量化,方便维护人员给予建议,获取优质的资源进行互联,提高BCD网络的资源容量,保证了数据储存服务水平。保证了数据储存服务水平。保证了数据储存服务水平。


技术研发人员:

欧志 盛富 蔡东

受保护的技术使用者:

深圳市一航网络信息技术有限公司

技术研发日:

2022.09.06

技术公布日:

2023/1/19


文章投稿或转载声明

本文链接:http://www.wtabcd.cn/zhuanli/patent-1-87008-0.html

来源:专利查询检索下载-实用文体写作网版权所有,转载请保留出处。本站文章发布于 2023-01-29 12:36:47

发表评论

验证码:
用户名: 密码: 匿名发表
评论列表 (有 条评论
2人围观
参与讨论