多域多物理耦合数值模拟负载均衡方法与流程
1.本发明涉及一种负载均衡优化方法，尤其涉及一种多域多物理耦合数值模拟负载均衡方法。
背景技术：
2.多域多物理耦合是实现系统级高保真数值模拟的可行形式，现行工业仿真软件由于历史原因多采用较为封闭的体系架构，各个物理领域的软件相互独立无法顺畅地进行耦合计算，难以满足未来工业产品设计研发的需求。基于软件通信和文件接口的耦合，除了在算法、稳定性方面存在一定问题外，也存在负载均衡等性能问题。传统系统仿真在实施高保真数值模拟时，也通常采用边界条件迭代匹配方法，计算浪费较多。多物理问题耦合计算，需要较高的性能支撑。美国阿贡国家实验室调研《multiphysics simulations:challenges and opportunities》显示，多物理耦合计算在科学和工程计算领域虽然有大量的实践，但在e级超级计算机等高性能平台上，实现高保真的多域多物理耦合，将是一个“1加1”远大于“2”的挑战，其并行扩展难度将超过预期。
技术实现要素：
3.为了满足工业数字化创新需求，本发明提供了一种多域多物理耦合数值模拟负载均衡方法，能够解决多域多物理模的多程序数据流(mpmd)计算过程中，由于过程依赖造成计算等待问题，即负载假均衡问题。
4.为实现上述目的，本发明提供的技术方案为：
5.本发明提供的一种多域多物理耦合数值模拟负载均衡方法，其特征在于，包括
6.步骤1：将没有同步节点的计算域分配到不同的计算域组中；
7.步骤2：选择计算域组中的特定同步流程节点，将该特定同步流程节点连接的计算域分解为2个以上没有其他同步关系的多个计算域组；
8.步骤3：对子计算域组执行步骤2、步骤3，直至步骤2中无法再选择特定同步流程节点，得到若干不可分解的计算域组；
9.步骤5：根据各个计算域组的计算量占全部计算域的总体计算量的比例，计算各个计算域组的资源组规模，给各个计算域组分配资源组；各个计算域组的资源组是互斥的，并集为全局资源组；
10.步骤6：根据各个计算域的计算量占所属计算域组的计算量的比例，计算各个计算域的资源组规模，给各个计算域分配资源组；各个计算域的资源组是互斥的，并集为计算域组的资源组；
11.其中，特定同步流程节点需要满足：取消该同步节点后，所连接的计算域可以分解为2个以上没有同步关系的计算域组。
12.本发明提供的多域多物理耦合数值模拟负载均衡方法，其特征在于，步骤6还包括：根据各个计算域的资源组规模，分配计算域的运行时数据库；
13.其中，运行时数据用于在各个计算阶段，迁移存储该阶段计算流程必要数据，计算完毕后将数据更新回基础计算域数据库。
14.本发明提供的多域多物理耦合数值模拟负载均衡方法，优选地，还包括缓存机制：在不突破存储的情况下，为各个计算阶段缓存必要的数据副本。
15.本发明提供的多域多物理耦合数值模拟负载均衡方法，优选地，还包括平铺机制：在计算时，若计算域组中的数据规模相对较大或者分配的资源组相对较小，将计算域组的数据进行平铺。
16.本发明提供的多域多物理耦合数值模拟负载均衡方法，优选地，还包括通信计算重叠策略：在执行计算的过程中，各进程同步缓存后续计算流程的数据。
17.本发明提供的多域多物理耦合数值模拟负载均衡方法，优选地，还包括综合开销评估策略：通过开销评估和运行时监测统计，确定每个计算阶段的数据迁移的开销和不进行数据迁移情况下计算不均衡的等待开销，在保证计算综合用时最短的前提下，确定某一计算阶段是否执行数据迁移。
18.本发明提供的多域多物理耦合数值模拟负载均衡方法，优选地，所述步骤2中“选择计算域组中的特定同步流程节点”具体为：
19.步骤201：通过统计原始流程图，对计算域间的同步次数进行统计；
20.步骤202：按照域间同步次数由大到小进行计算域两两聚合，形成聚合树；
21.步骤203：依次按照聚合树广度优先遍历可以快速到所有的所需同步节点。
22.上述技术方案具有如下优点：
23.本发明提供的一种多域多物理耦合数值模拟负载均衡方法，对耦合度较低的计算域进行递归分解，形成不需要进行相互数据迁移就可以保持组间负载均衡的计算域组；根据各个计算域组的计算量占全部计算域的总体计算量的比例，计算各个计算域组的资源组规模，给各个计算域组分配资源组；各个计算域组的资源组是互斥的，并集为全局资源组；根据各个计算域的计算量占所属计算域组的计算量的比例，计算各个计算域的资源组规模，给各个计算域分配资源组；各个计算域的资源组是互斥的，并集为计算域组的资源组。本发明能够解决多域多物理模的多程序数据流计算过程中，由于过程依赖造成计算等待问题，提升负载均衡的效率。
附图说明
24.通过阅读参照以下附图对非限制性实施例所作的详细描述，本发明及其特征、外形和优点将会变得更加明显。在全部附图中相同的标记指示相同的部分。并未刻意按照比例绘制附图，重点在于示出本发明的主旨。
25.图1是本发明实施例1提供一种多域多物理耦合数值模拟负载均衡方法建模的流程图；
26.图2是本发明实施例1提供一种多域多物理耦合数值模拟负载均衡方法经过步骤2划分后的流程图；
27.图3是本发明实施例1提供一种多域多物理耦合数值模拟负载均衡方法的一种无法分割的计算域组的流程图；
28.图4是本发明实施例1提供一种多域多物理耦合数值模拟负载均衡方法的流程示
意图。
具体实施方式
29.下面结合本发明实施例中的附图，对本发明实施例中的技术方案进行说明，显然所描述的实施例仅仅是本发明的一部分实施例，而不是全部的实施例。因此，以下对附图中提供的本发明实施例中的详细描述并非旨在限制要求保护的本发明的范围，而是仅仅表示本发明的选定实施例。基于本发明的实施例，本领域技术人员在没有作出创造性劳动的前提下所获得的所有其他实施例，都属于本发明的保护范围。
30.实施例1：
31.在面对多域多物理耦合数值模拟负载均衡问题时，为了便于理解，首先先对该问题进行建模：
32.计算域：计算域控制和存储了计算域上所有计算所需要的数据，这些数据可以在运行时全部存储在分布式内存中，或者通过内存缓冲机制，按需从外存读入内存中。计算域是计算操作发生的数据主体，在计算域上定义的计算操作基本采用单程序多数据流模型(spmd)。
33.资源组：以进程或者线程为基本单位组成的分布式计算资源，这些资源可以按照重叠或不重叠的方式形成集合，即为资源组。如果这些资源都是进程，则资源组可以等同于进程组。下文中不再对线程和进程加以区分，统一以进程加以描述。
34.计算流程：有多个计算域参与计算，每个计算域上定义了多个计算流程。单个计算域上的某一个计算流程在开始到结束过程中需要与其它计算域进行通信和同步。计算流程的计算量表示为在某资源组规模下需要的计算时间，量纲为“进程数*时间”，具体数量跟计算硬件性能和并行规模有关系，需要在运行时进行迭代修正。
35.流程图：完整的多域多物理耦合计算可以抽象为具有周期性的迭代过程，每一个迭代过程具有相似性。因此对于流程的抽象，主要是对一个迭代周期的抽象。一个迭代周期可以抽象为一个有向无环图，示意如图1所示。其中，regx为计算域，regx.x为周期中各个计算域上按序执行的计算流程，barx为同步通信节点。
36.负载均衡：通过为各个计算流程(包括同步流程)，充分利用计算资源，最大化流程图执行的并发度，从而最大限度降低完整流程的执行时间，提高mpmd并行的运行效率。
37.在对负载均衡进行建模的基础，本发明实施例1提供一种多域多物理耦合数值模拟负载均衡方法，包括：
38.步骤1：将没有同步节点的计算域分配到不同的计算域组中；
39.步骤2：选择计算域组中的特定同步流程节点，将该特定同步流程节点连接的计算域分解为2个以上没有其他同步关系的多个计算域组；
40.步骤3：对子计算域组执行步骤2、步骤3，直至步骤2中无法再选择特定同步流程节点，得到若干不可分解的计算域组；
41.步骤5：根据各个计算域组的计算量占全部计算域的总体计算量的比例，计算各个计算域组的资源组规模，给各个计算域组分配资源组；各个计算域组的资源组是互斥的，并集为全局资源组；
42.步骤6：根据各个计算域的计算量占所属计算域组的计算量的比例，计算各个计算
域的资源组规模，给各个计算域分配资源组；各个计算域的资源组是互斥的，并集为计算域组的资源组；
43.其中，特定同步流程节点需要满足：取消该同步节点后，所连接的计算域可以分解为2个以上没有同步关系的计算域组。如图1、图2所示，将图1所示的计算流程图，按照bar3同步节点分割，可以得两个计算域组，如图2。
44.步骤2中“选择计算域组中的特定同步流程节点”具体为：
45.步骤201：通过统计原始流程图，对计算域间的同步次数进行统计；
46.步骤202：按照域间同步次数由大到小进行计算域两两聚合，形成聚合树；
47.步骤203：依次按照聚合树广度优先遍历可以快速到所有的所需同步节点。
48.在经过计算域分组后，计算域组内部形成子流程图让任意组内的两个计算域之间有两个以上同步流程节点，因此无法继续进行划分，例如图3所示。(图3仅为用于此处说明，与图1、图2无关)
49.根据流程图特点可以知道，如需达到完美平衡，分解流程图中每个节点应有完备的连接关系：
50.1)任何同步节点前后任意一侧，所有计算流程节点的执行时间(计算流程的计算量除以资源组规模)，按照计算域加和应当相等；
51.2)执行过程任意阶段所有计算域占有的资源组规模应当等于总体资源总和(按进程数量计)。
52.可以归纳证明，以计算流程的资源组规模为未知量，这个样的关系组成了封闭的非线性方程组，可以通过求解方程组得到每一个计算流程的资源组规模。同步节点除了本身是一个跨计算域的计算流程，其计算开销应该主要是数据迁移开销。
53.在本实施例中，为了降低计算过程中数据迁移的成本，步骤6还包括：根据各个计算域的资源组规模，分配计算域的运行时数据库；其中，运行时数据用于在各个计算阶段，迁移存储该阶段计算流程必要数据，计算完毕后将数据更新回基础计算域数据库。
54.为了减少计算过程中需要迁移的数据量，还包括缓存机制：在不突破存储的情况下，为各个计算阶段缓存必要的数据副本。
55.在本实施例中，还包括平铺机制：在计算时，若计算域组中的数据规模相对较大或者分配的资源组相对较小，将计算域组的数据进行平铺，即每个计算域都分配计算域组的资源组，各计算域的资源组相互重叠。无论流程图结构如何，平铺情况下始终不需要进行负载均衡和迁移数据。
56.计算域上定义的多个计算流程依赖的数据，并不一定具有严格的顺序依赖关系，因此，在本实施例中，还包括通信计算重叠策略：在执行计算的过程中，各进程同步缓存后续计算流程的数据。
57.本发明实施例中还包括综合开销评估策略：通过开销评估和运行时监测统计，确定每个计算阶段的数据迁移的开销和不进行数据迁移情况下计算不均衡的等待开销，在保证计算综合用时最短的前提下，确定某一计算阶段是否执行数据迁移。
58.以上所述仅为本发明的优选实施例，并非因此限制本发明的专利范围，凡是利用本发明说明书及附图内容所作的等效结构变换，或直接或间接运用在其他相关的技术领域，均同理包括在本发明的专利保护范围内。
技术特征：
1.一种多域多物理耦合数值模拟负载均衡方法，其特征在于，包括步骤1：将没有同步节点的计算域分配到不同的计算域组中；步骤2：选择计算域组中的特定同步流程节点，将该特定同步流程节点连接的计算域分解为2个以上没有其他同步关系的多个计算域组；步骤3：对子计算域组执行步骤2、步骤3，直至步骤2中无法再选择特定同步流程节点，得到若干不可分解的计算域组；步骤5：根据各个计算域组的计算量占全部计算域的总体计算量的比例，计算各个计算域组的资源组规模，给各个计算域组分配资源组；各个计算域组的资源组是互斥的，并集为全局资源组；步骤6：根据各个计算域的计算量占所属计算域组的计算量的比例，计算各个计算域的资源组规模，给各个计算域分配资源组；各个计算域的资源组是互斥的，并集为计算域组的资源组；其中，特定同步流程节点需要满足：取消该同步节点后，所连接的计算域可以分解为2个以上没有同步关系的计算域组。2.如权利要求1所述的多域多物理耦合数值模拟负载均衡方法，其特征在于，步骤6还包括：根据各个计算域的资源组规模，分配计算域的运行时数据库；其中，运行时数据用于在各个计算阶段，迁移存储该阶段计算流程必要数据，计算完毕后将数据更新回基础计算域数据库。3.如权利要求2所述的多域多物理耦合数值模拟负载均衡方法，其特征在于，还包括缓存机制：在不突破存储的情况下，为各个计算阶段缓存必要的数据副本。4.如权利要求1所述的多域多物理耦合数值模拟负载均衡方法，其特征在于，还包括平铺机制：在计算时，若计算域组中的数据规模相对较大或者分配的资源组相对较小，将计算域组的数据进行平铺。5.如权利要求1所述的多域多物理耦合数值模拟负载均衡方法，其特征在于，还包括通信计算重叠策略：在执行计算的过程中，各进程同步缓存后续计算流程的数据。6.如权利要求1所述的多域多物理耦合数值模拟负载均衡方法，其特征在于，还包括综合开销评估策略：通过开销评估和运行时监测统计，确定每个计算阶段的数据迁移的开销和不进行数据迁移情况下计算不均衡的等待开销，在保证计算综合用时最短的前提下，确定某一计算阶段是否执行数据迁移。7.如权利要求1所述的多域多物理耦合数值模拟负载均衡方法，其特征在于，所述步骤2中“选择计算域组中的特定同步流程节点”具体为：步骤201：通过统计原始流程图，对计算域间的同步次数进行统计；步骤202：按照域间同步次数由大到小进行计算域两两聚合，形成聚合树；步骤203：依次按照聚合树广度优先遍历可以快速到所有的所需同步节点。
技术总结
本发明提供的一种多域多物理耦合数值模拟负载均衡方法，对耦合度较低的计算域进行递归分解，形成不需要进行相互数据迁移就可以保持组间负载均衡的计算域组；根据各个计算域组的计算量占全部计算域的总体计算量的比例，计算各个计算域组的资源组规模，给各个计算域组分配资源组；各个计算域组的资源组是互斥的，并集为全局资源组；根据各个计算域的计算量占所属计算域组的计算量的比例，计算各个计算域的资源组规模，给各个计算域分配资源组；各个计算域的资源组是互斥的，并集为计算域组的资源组。本发明能够解决多域多物理模的多程序数据流计算过程中，由于过程依赖造成计算等待问题，提升负载均衡的效率。提升负载均衡的效率。提升负载均衡的效率。
