本文作者:kaifamei

信源方评分数据的请求及发送方法、装置、系统及设备与流程

更新时间:2025-01-11 11:53:06 0条评论

信源方评分数据的请求及发送方法、装置、系统及设备与流程



1.本技术涉及数据处理领域,具体涉及一种信源方评分数据的请求及发送方法、装置、系统及设备。


背景技术:



2.为了更好的为大额信贷用户提供优质服务,需要对已有的有大额贷款意向的用户名单进行评分,根据评分信息过滤出优质用户进行大额贷款精准营销。业务人员会使用后端评分系统进行用户名单文件上传,后端评分系统会读取文件内容,遍历名单并请求信源方接口获取对应评分。
3.现有技术中,后端评分系统直接根据业务人员上传的用户名单文件请求信源方接口,以获取评分,这种当时因强依赖网络环境,一旦出现网络抖动超时,会影响评分文件整体处理时间;另外,用户名单文件通常为超大文件,其中名单甚至超过千万的数据级,当读取文件时长超过最大阈值,就会强制中断文件流读写,文件处理中断,若对文件进行重推,还需要区分出未推送的名单,进行重推,费时费力;且推送名单信息需要保存在数据库用来记录已请求数据,因数据量过大,落库效率低下。


技术实现要素:



4.本技术实施例针对上述情况,提出了一种信源方评分数据的请求及发送方法、装置、系统及设备,该方法针对大文件处理容易中断的问题,采用先分表落库,后处理的方式,避免了处理中断问题,且极大程度上提高了落库效率以及大文件处理效率;另一方面,采用文件方式提供给信源方待评分的名单数据,保证数据稳定性,避免频繁请求结构,由于网络故障,导致处理超时以及数据丢失等问题。
5.第一方面,本技术实施例提供了一种信源方评分数据的请求方法,所述方法通过数据请求平台实现,所述平台包括两两通信连接的信息管理系统、至少一个信源系统、网络存储器;
6.所述方法用于信息管理系统,所述方法包括:
7.接收待评分原始文件;
8.将所述待评分原始文件进行分表,得到多个数据表,并存储于数据库中;
9.从所述数据库读取各所述数据表,并根据所述数据表生成多个待评分小文件,发送至所述网络存储器中,以使各所述信源系统根据请求通知或者定时任务载入所述网络存储器,拉取对应的待评分小文件,并根据拉取的待评分小文件对目标用户进行评分,以及将评分结果返回至所述网络存储器;
10.载入所述网络存储器获取评分结果数据,并存储于所述数据库中。
11.第二方面,本技术实施例还提供了一种信源方评分数据的发送方法,所述所述方法通过数据请求平台实现,所述平台包括两两通信连接的信息管理系统、至少一个信源系统、网络存储器;
12.所述方法用于各所述信源系统中,所述方法包括:
13.接收请求通知;
14.根据所述请求通知或者定时任务载入所述网络存储器,拉取对应的待评分小文件,其中,所述待评分小文件是所述信息管理系统根据所述待评分原始文件生成并发送至所述网络存储器中的;
15.根据所述待评分小文件对目标用户进行评分,并将评分结果返回至所述网络存储器,以使所述信息管理系统载入所述网络存储器并获取评分结果数据。
16.第三方面,本技术实施例还提供了一种信源方评分数据的请求装置,所述装置部署于信息管理系统中,所述装置包括:
17.第一接收单元,用于接收待评分原始文件;
18.存储单元,用于将所述待评分原始文件进行分表,并存储于数据库中;
19.切分以及发送单元,用于从所述数据库读取所述待评分原始文件,并根据所述待评分原始文件生成多个待评分小文件,发送至所述网络存储器中,以使各所述信源系统载入所述网络存储器,拉取对应的待评分小文件,并根据所述待评分小文件对目标用户进行评分,以及将评分结果返回至所述网络存储器;
20.结果获取单元,用于载入所述网络存储器获取评分结果数据。
21.第四方面,本技术实施例还提供了一种信源方评分数据的发送装置,所述方法用于各所述信源系统中,所述方法包括:
22.第二接收单元,用于接收请求通知;
23.评分单元,用于根据所述请求通知或者定时任务载入所述网络存储器,拉取对应的待评分小文件,其中,所述待评分小文件是所述信息管理系统根据所述待评分原始文件生成并发送至所述网络存储器中的;
24.发送单元,用于根据所述待评分小文件对目标用户进行评分,并将评分结果返回至所述网络存储器,以使所述信息管理系统载入所述网络存储器并获取评分结果数据。
25.第五方面,本技术实施例还提供了一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行上述任一的方法。
26.第六方面,本技术实施例还提供了一种计算机可读存储介质,所述计算机可读存储介质存储一个或多个程序,所述一个或多个程序当被包括多个应用程序的电子设备执行时,使得所述电子设备执行上述任一的方法。
27.本技术实施例采用的上述至少一个技术方案能够达到以下有益效果:
28.本技术在接收到待评分原始文件后,对所述待评分原始文件进行分表,得到多个数据表,并存储于数据库中,然后从所述数据库读取各所述数据表,并根据所述数据表生成多个待评分小文件,发送至所述网络存储器中,以使各所述信源系统根据请求通知或者定时任务载入所述网络存储器,拉取对应的待评分小文件,并根据拉取的待评分小文件对目标用户进行评分,以及将评分结果返回至所述网络存储器;最后,载入所述网络存储器获取评分结果数据,并存储于所述数据库中。本技术采用先落库,后处理的方式,避免了处理中断问题,在落库时,采用的是分表落库的形式,极大程度上提高了落库效率以及大文件处理效率;另一方面,借助于网络存储器,采用文件方式提供给信源方待评分的名单数据,保证
数据稳定性,避免频繁请求结构,由于网络故障,导致处理超时以及数据丢失等问题。
附图说明
29.此处所说明的附图用来提供对本技术的进一步理解,构成本技术的一部分,本技术的示意性实施例及其说明用于解释本技术,并不构成对本技术的不当限定。在附图中:
30.图1示出根据现有技术的一个实施例的数据请求平台的结构示意图;
31.图2示出根据本技术的一个实施例的数据请求平台的结构示意图;
32.图3示出了根据本技术的一个实施例的信源方评分数据的请求方法的流程示意图;
33.图4示出了根据本技术的一个实施例的信源方评分数据的发送方法的流程示意图;
34.图5示出了根据本技术的一个实施例的信源方评分数据的请求及发送方法的示意图;
35.图6示出了根据本技术的一个实施例的信源方评分数据的请求装置的结构示意图;
36.图7示出了根据本技术的一个实施例的信源方评分数据的发送装置的结构示意图;
37.图8为本技术实施例中一种电子设备的结构示意图。
具体实施方式
38.为使本技术的目的、技术方案和优点更加清楚,下面将结合本技术具体实施例及相应的附图对本技术技术方案进行清楚、完整地描述。显然,所描述的实施例仅是本技术一部分实施例,而不是全部的实施例。基于本技术中的实施例,本领域普通技术人员在没有做出创造性劳动前提下所获得的所有其他实施例,都属于本技术保护的范围。
39.以下结合附图,详细说明本技术各实施例提供的技术方案。
40.图1示出根据现有技术的一个实施例的数据请求平台的结构示意图,从图1可以看出,现有的数据请求平台100包括信息管理系统110和信源系统120,后端的用于管理信源方数据的信息管理系统110通过网络连接一个或者多个信源系统120(实际场景中通常为多个),在进行用户的评分数据的请求时,信息管理系统110根据接收到待评分的名称文件请求对应的信源方接口,以获取评分结果。这种方式因强依赖网络环境,一旦出现网络抖动超时,会影响评分文件整体处理时间;待评分的名单文件通常都是超大文件,其中的名单甚至超过两千万的数据量,读取文件就会因超过最长读写文件最大时间阈值(如60min),强制中断文件流读写,文件处理中断,若对文件进行重推,还需要区分出未推送的名单,进行重推,费时费力;且推送名单信息需要保存在数据库用来记录已请求数据,因数据量过大,落库效率低下,高度依赖接口请求结果。
41.对此,本技术提出了一种信源方评分数据的请求方法,本技术的构思在于,在接收到待评分原始文件后,对其采用分表落库,以避免由于网络问题引起的处理中断问题;另外,借助于网络存储器,采用文件方式提供给信源方待评分的名单数据,保证数据稳定性。
42.图2示出根据本技术的的一个实施例的数据请求平台的结构示意图,从图2可以看
出,图2示出的数据请求平台200包括信息管理系统210、至少一个信源系统220、网络存储器230,信息管理系统210、至少一个信源系统220、网络存储器230,通过网络(如互联网)通信连接,可相互交互信息。
43.图3示出了根据本技术的一个实施例的信源方评分数据的请求方法的流程示意图,所述信源方评分数据的请求用于信息管理系统210,从图3可以看出,本技术至少包括步骤s310~步骤s340:
44.步骤s310:接收待评分原始文件。
45.营运人员可在信息管理系统210上传待评分原始文件,待评分原始文件通常为一个大文件,其中包含的名单数据甚至可以达到千万级别,如可以包括千万条潜在的用户名单,该用户名单可以是明文的,也可以是加密后的,为了保障数据的安全性以及用户的隐私不被泄露,用户名单通常是加密的。以一位用户为例,其用户名单可以是以身份证号为原始数据进行加密后,就可以得到待评分原始文件中的一条用户名单数据。
46.步骤s320:将所述待评分原始文件进行分表,得到多个数据表,并存储于数据库中。
47.在现有技术中,信息管理系统110接收到待评分原始文件后,将其存储于信息管理系统110内设的磁盘中,从磁盘中进行读取。待评分原始文件中通常包括千万级别的数据量,读取文件如果超过最长读写文件最大时间阈值(如60min),则会强制中断文件流读写,文件处理流程中断。
48.而在本技术中,信息管理系统210在获取到待评分原始文件后,为了快速将其落库,在对待评分原始文件进行落库时,可采用分表落库的形式进行存储,如对待评分原始文件进行分表处理,分表后得到多个数据表,然后存储于数据库中。
49.对于待评分原始文件可采用横向分表或者竖向分表,对此本技术不作限定,具体的分表方法可参考现有技术。
50.也就是说,在本技术中,对于待评分原始文件采用先落库的处理,再进行后续评分信息获取的操作,相对于现有技术采用接口请求的方式,仅读取内容后直接落库,能够显著降低文件内容处理时间,提高处理效率。因待评分原始文件内容都是千万级别的,单表的数据量过大会导致数据查询效率低下,故进行分表储存,提高单表查询效率,数据均匀分布在每个表中,也有效缩短了大文件的处理时效。
51.步骤s330:从所述数据库读取各所述数据表,并根据所述数据表生成多个待评分小文件,发送至所述网络存储器中,以使各所述信源系统根据请求通知或者定时任务载入所述网络存储器,拉取对应的待评分小文件,并根据拉取的待评分小文件对目标用户进行评分,以及将评分结果返回至所述网络存储器。
52.在对待评分原始文件进行落库后,可从数据库读取各所述数据表中的数据,并根据读取到的数据生成多个待评分小文件,如可以按照客户的不同渠道的维度生成待评分小文件,如信源方有5个分别记为信源方a、信源方b、信源方c、信源方d和信源方e,可以将待评分原始文件按照渠道维度,即5个信源方的维度,生成5个待评分小文件。当然,如果按照渠道维度生成的待评分小文件不够小的话,还可以按照客户维度划分,根据每个客户的数据生成一个待评分小文件。
53.在生成多个待评分小文件后,将其通过网络发送至网络存储器230中,网络存储器
可以为网络附属存储(network attached storage,nas),网络附属存储按字面简单说就是连接在网络上,具备资料存储功能的装置,因此也称为“网络存储器”。它以数据为中心,将存储设备与服务器彻底分离,集中管理数据,从而释放带宽、提高性能、降低总拥有成本、保护投资。
54.信息管理系统210在将待评分小文件存储在网络存储器中之后,可以通知待评分小文件中涉及到的信源系统220进行待评分小文件的拉取;在信源系统220可以设置定时任务,信源系统220可以根据请求通知或者到达定时任务的时机,到网络存储器230进行相关待评分小文件的拉取。
55.请求通知可以通过指定途径发送,如设置的自动邮件,每当待评分小文件发送至网络存储器230后,即可触发自动邮件的发送。定时任务可以是事先设置在各个信源系统220中的,如每24h载入一次网络存储器230,查是否需要自身处理的待评分小文件,若存在,则拉取回信源系统220并进行处理,若不存在,则等待下次定时任务的触发时机,再次载入信源系统220并进行查询。
56.信源系统220在载入网络存储器230时,通常时可以在互联网申请的账号登录并载入。
57.信源系统220在拉取对应的待评分小文件后,对待评分小文件进行解析,得到待评分小文件中目标用户的身份信息,并对目标用户进行评分,在得到评分结果后,将评分结果返回至网络存储器230中。
58.需要说明的是,信息管理系统210在发送待评分小文件时,可根据与信源系统220事先约定好的路径发送,即可发送到网络存储器230的指定存储区域,以便于信源系统220进行拉取。
59.步骤s340:载入所述网络存储器获取评分结果数据,并存储于所述数据库中。
60.信息管理系统210可载入网络存储器230中,获取评分结果数据,评分结果数据通常也是文件的形式,信息管理系统210获取到评分结果后,可将其存储于数据库中,如果一个客户的评分结果已存在,则对该用户的评分数据进行更新。
61.由图3所示的方法可以看出,本技术在接收到待评分原始文件后,对所述待评分原始文件进行分表,得到多个数据表,并存储于数据库中,然后从所述数据库读取各所述数据表,并根据所述数据表生成多个待评分小文件,发送至所述网络存储器中,以使各所述信源系统根据请求通知或者定时任务载入所述网络存储器,拉取对应的待评分小文件,并根据拉取的待评分小文件对目标用户进行评分,以及将评分结果返回至所述网络存储器;最后,载入所述网络存储器获取评分结果数据,并存储于所述数据库中。本技术采用先落库,后处理的方式,避免了处理中断问题,在在落库时,采用的是分表落库的形式,极大程度上提高了落库效率以及大文件处理效率;另一方面,借助于网络存储器,采用文件方式提供给信源方待评分的名单数据,保证数据稳定性,避免频繁请求结构,由于网络故障,导致处理超时以及数据丢失等问题。
62.在本技术的一些实施例中,在上述信源方评分数据的请求方法中,所述将所述待评分原始文件进行分表,得到多个数据表,并存储于数据库中,包括:将所述待评分原始文件缓存于本地存储器中;调用文件读存工具,从所述本地存储器读取所述待评分原始文件;将所述待评分原始文件按照预设维度进行分表,得到多个数据表;采用maybatis批处理方
式,将得到的多个数据表存储于所述数据库中。
63.在对待评分原始文件进行落库的时候,可以先将其缓存于信息管理系统210的本地存储器中,在落库之后可将其从本地存储器中删除,其中,本地存储器可以为信息管理系统210设有的可读写磁盘。由于在待评分原始文件较大,本地的可读写磁盘可能存储不下,因此另一些实施例中,本地存储器也可以为信息管理系统210设置内网的网络存储器,在落库之前,将待评分原始文件缓存于内网的网络存储器中,以供读取调用。
64.在从内网的网络存储器中读取待评分原始文件时,为了提高读取处理速度,可通过提前预置的文件读存工具进行读取,这里文件读存工具可以为专门为快速读存文件设计,是相对独立的,在使用时,可以直接调用。在读取到待评分原始文件后,按照预设维度进行分表,得到多个数据表,使得数据能够相对均匀的分散在各个数据表中,避免了由于所有数据均处于一个数据表中,造成改数据表过大,处理容易中断的问题。
65.在现有技术中,由于待评分原始文件的所有的数据均存储一张数据表中,因此在对待评分原始文件进行处理时,采用的是串行的方式,即采用单一进程遍历对待评分原始文件中的每一条用户数据,每遍历一条用户数据便请求信源方接口,
66.而在本技术的一些实施例中,由于对待评分原始文件进行了分表处理,则对文件或者数据表时可采用多进程并行的处理机制,对于数据库而言,可maybatis批处理方式,显著提高了语句的执行效率,使得待评分原始文件实现快速落库。
67.在本技术的一些实施例中,在上述的信源方评分数据的请求方法中,所述从所述数据库读取各所述数据表,并根据各所述数据表生成多个待评分小文件,包括:采用并行机制,从所述数据库读取各所述数据表;解析各所述数据表,得到至少一个目标客户的待评分数据;按照客户维度或者渠道维度生成至少一个待评分小原文件以及对应的结束标记文件;对生成的各所述待评分小原文件进行加密,得到各所述待评分小原文件分别对应的待评分小文件、以及各所述待评分小文件对应的结束标记文件;将各所述待评分小文件以及对应的结束标记文件发送至所述网络存储器中。
68.在生成多个待评分小文件时,由于数据被分散存储于多个数据表中,因此在读取数据时,可以采用多进程并行的机制从数据库读取各个数据表,然后对读取的数据表进行解析,解析后得到一个或者多个目标客户的待评分数据,然后,可以按照客户维度,也可以按照渠道维度对目标客户的待评分数据将进行汇总,得到待评分小原文件,其中,待评分数据通常为目标客户的身份信息,最后对待评分数据进行加密,对于加密的算法本技术不作限定,可依据现有技术中的任意一种,如哈希算法。在得到待评分小文件后,对待评分小文件对应的结束标记文件(如扩展名为end.的文件),该文件的存在,表示对应待评分小文件的生成完成。
69.信源系统220在拉取一个待评分小文件时,也在网络存储器230中检索,确定与该待评分小文件对应的结束标记文件进否存在,若存在,则表示该待评分小文件生成完成,该待评分小文件是完整的;若对应的结束标记文件不存在,则说明该待评分小文件存在问题,可能数据不完全,也可能是文件破损等问题。
70.对应的结束标记文件是否存在的判断可以拉取待评分小文件的步骤之前,若存在,则执行待评分小文件的步骤;若不存在,则不执行待评分小文件的步骤,并返回错误代码。
71.在本技术的一些实施例中,在上述的信源方评分数据的请求方法中,所述登录所述网络存储器获取评分结果数据,并存储于所述数据库中,包括:载入所述网络存储器;采用并行机制,读取评分结果数据;对所述评分结果数据进行解密,得到至少一个目标客户的评分信息;将所述评分信息存储于所述数据库中。
72.信源系统220返回网络存储器230的评分结果,通常也是以文件的形式展示的,如一个目标客户的评分结果为一个结果文件。每次评分通常会包含大量的结果文件,信息管理系统210在获取目标客户的评分信息时,首先载入网络存储器230,然后采用多线程并发的机制读取结果文件,如果结果文件是加密的,则进行解密,即可得到至少一个目标客户的评分信息,最后将所述评分信息存储于所述数据库中,此时完成了一次信源方评分数据的请求的闭环链路。
73.图4示出了根据本技术的一个实施例的信源方评分数据的发送方法的流程示意图,所述方法通过图2示出的数据请求平台200实现,所述方法用于各所述信源系统220中,所述方法至少包括步骤s410~步骤430:
74.步骤s410:接收请求通知。
75.信源系统220可通过指定途径接收信息管理系统210发送的请求通知,如通过自动邮件的形式接收。另外,在信源系统220也可以设有定时任务,如24h到网络存储器230拉取一次待评分小文件,以配合信息管理系统210的信源方评分数据的请求。
76.步骤s420:根据所述请求通知或者定时任务载入所述网络存储器,拉取对应的待评分小文件,其中,所述待评分小文件是所述信息管理系统根据所述待评分原始文件生成并发送至所述网络存储器中的。
77.信源系统220在载入网络存储器时,可根据事先在互联网申请nas sftp账号进行登录和载入,登录后,可以到与信息管理系统210事先约定的路径读取并拉取待评分小文件。
78.承前所述,在一些实施例中,以一个待评分小文件为例,信息管理系统210还会生成该待评分小文件对应的结束标记文件,并一起发送至网络存储器230中,信源系统220在拉取一个待评分小文件时,可以在网络存储器230中检索,确定与该待评分小文件对应的结束标记文件进否存在,若存在,则表示该待评分小文件生成完成,该待评分小文件是完整的;若对应的结束标记文件不存在,则说明该待评分小文件存在问题,可能数据不完全,也可能是文件破损等问题。对应的结束标记文件是否存在的判断可以拉取待评分小文件的步骤之前,若存在,则执行待评分小文件的步骤;若不存在,则不执行待评分小文件的步骤,并返回错误代码。
79.步骤s430:根据所述待评分小文件对目标用户进行评分,并将评分结果返回至所述网络存储器,以使所述信息管理系统载入所述网络存储器并获取评分结果数据。
80.信源系统220在根据待评分小文件对涉及的目标用户进行评分后,会产生一个评分结果,该评分结果通常也是以文件的形式呈现,信源系统220将产生的评分结果按照与信息管理系统210事先约定的路径返回至网络存储器230中。信息管理系统210可载入网络存储器230的指定路径中,并获取评分结果数据。在本技术的一些实施例中,信源方评分数据的发送方法还包括:将信源接入公共代码进行封装;通过接入配置控件,调用封装后的信源接入公共代码,以接入所述数据请求平台。
81.现有技术中,信源方的信源系统在接入数据请求平台200时,通常需要分别开发代码,进行接入。其中,公共代码部分需要重复开发,无通用公共业务代码的抽取封装,浪费开发资源。
82.为此本技术提供了一种可通过配置的使得信源系统可快速接入数据请求平台200中,可根据渠道区分落库,抽取公共部分的代码进行封装,帮助新的信源系统可仅通过配置接入上线,无需任何代码开发,提高了代码的复用能力,节省开发资源。具体的,首先将信源接入公共代码进行封装;然后,提供一个统一的接入配置控件,使得信源方可以通过接入配置控件,调用封装后的信源接入公共代码,以接入所述数据请求平台。
83.对于封装,可对于抽取公共部分的代码利用一个包裹函数进行封装,该函数可设有调用地址,该调用地址被写入接入配置控件中,当接入配置控件启动,即可实现公共部分的代码的调用。
84.接入配置控件除了包含封装好的公共部分的代码外,还可包括一些可填写或者可选择的配置项目,信源方的工作人员可通过对这些配置项目进行配置,来实现信源系统快速接入数据请求平台。
85.图5示出了根据本技术的一个实施例的信源方评分数据的请求及发送方法的示意图,从图5可以看出:
86.信息管理系统210,接收待评分原始文件,将所述待评分原始文件进行分表,得到多个数据表,并将多个数据表存储与数据库中。
87.从数据库中读取待评分原始文件,并生成多个待评分小文件以及各待评分小文件对应的结束标记文件,并发送至网络存储器230的中间文件存储路径。并向信源系统220发送请求通知。
88.信源系统220在接到请求通知后,根据根据结束标记文件是否存在,拉取对应的待评分小文件;根据待评分小文件对目标客户进行打分,得到评分结果,并将评分结果返回网络存储器230的结果文件存储路径。
89.信息管理系统210,载入网络存储器获取评分结果,并存储于数据库中。
90.图6示出了根据本技术的一个实施例的信源方评分数据的请求装置的结构示意图,信源方评分数据的请求装置600部署于信息管理系统210(图2)中,信源方评分数据的请求装置600包括:
91.第一接收单元610,用于接收待评分原始文件;
92.存储单元620,用于将所述待评分原始文件进行分表,并存储于数据库中;
93.切分以及发送单元630,用于从所述数据库读取所述待评分原始文件,并根据所述待评分原始文件生成多个待评分小文件,发送至所述网络存储器中,以使各所述信源系统载入所述网络存储器,拉取对应的待评分小文件,并根据所述待评分小文件对目标用户进行评分,以及将评分结果返回至所述网络存储器;
94.结果获取单元640,用于载入所述网络存储器获取评分结果数据。
95.在本技术的一些实施例中,在上述的信源方评分数据的请求装置600中,切分以及发送单元630,用于将所述待评分原始文件缓存于本地存储器中;调用文件读存工具,从所述本地存储器读取所述待评分原始文件;将所述待评分原始文件按照预设维度进行分表,得到多个数据表;采用maybatis批处理方式,将得到的多个数据表存储于所述数据库中。
96.在本技术的一些实施例中,在上述的信源方评分数据的请求装置600中,切分以及发送单元630,用于采用并行机制,从所述数据库读取各所述数据表;解析各所述数据表,得到至少一个目标客户的待评分数据;按照客户维度或者渠道维度生成至少一个待评分小原文件以及对应的结束标记文件;对生成的各所述待评分小原文件进行加密,得到各所述待评分小原文件分别对应的待评分小文件、以及各所述待评分小文件对应的结束标记文件;将各所述待评分小文件以及对应的结束标记文件发送至所述网络存储器中。
97.在本技术的一些实施例中,在上述的信源方评分数据的请求装置600中,结果获取单元640,用于载入所述网络存储器;采用并行机制,读取评分结果;对所述评分结果进行解密,得到至少一个目标客户的评分信息;将所述评分信息存储于所述数据库中。
98.图7示出了根据本技术的一个实施例的信源方评分数据的发送装置的结构示意图,信源方评分数据的发送装置700部署于信源系统(图2)中,信源方评分数据的发送装置700包括:
99.第二接收单元710,用于接收请求通知;
100.评分单元720,用于根据所述请求通知或者定时任务载入所述网络存储器,拉取对应的待评分小文件,其中,所述待评分小文件是所述信息管理系统根据所述待评分原始文件生成并发送至所述网络存储器中的;
101.发送单元730,用于根据所述待评分小文件对目标用户进行评分,并将评分结果返回至所述网络存储器,以使所述信息管理系统载入所述网络存储器并获取评分结果数据。
102.在本技术的一些实施例中,上述的信源方评分数据的发送装置700还包括接入单元,用于将信源接入公共代码进行封装;通过接入配置控件,调用封装后的信源接入公共代码,以接入所述数据请求平台。
103.图8是本技术的一个实施例电子设备的结构示意图。请参考图8,在硬件层面,该电子设备包括处理器,可选地还包括内部总线、网络接口、存储器。其中,存储器可能包含内存,例如高速随机存取存储器(random-access memory,ram),也可能还包括非易失性存储器(non-volatile memory),例如至少1个磁盘存储器等。当然,该电子设备还可能包括其他业务所需要的硬件。
104.处理器、网络接口和存储器可以通过内部总线相互连接,该内部总线可以是isa(industry standard architecture,工业标准体系结构)总线、pci(peripheral component interconnect,外设部件互连标准)总线或eisa(extended industry standard architecture,扩展工业标准结构)总线等。所述总线可以分为地址总线、数据总线、控制总线等。为便于表示,图8中仅用一个双向箭头表示,但并不表示仅有一根总线或一种类型的总线。
105.存储器,用于存放程序。具体地,程序可以包括程序代码,所述程序代码包括计算机操作指令。存储器可以包括内存和非易失性存储器,并向处理器提供指令和数据。
106.处理器从非易失性存储器中读取对应的计算机程序到内存中然后运行,在逻辑层面上形成信源方评分数据的请求或发送方法装置。处理器,执行存储器所存放的程序,并具体用于执行前述方法。
107.上述如本技术图6或7所示实施例揭示的信源方评分数据的请求或发送方法装置执行的方法可以应用于处理器中,或者由处理器实现。处理器可能是一种集成电路芯片,具
有信号的处理能力。在实现过程中,上述方法的各步骤可以通过处理器中的硬件的集成逻辑电路或者软件形式的指令完成。上述的处理器可以是通用处理器,包括中央处理器(central processing unit,cpu)、网络处理器(network processor,np)等;还可以是数字信号处理器(digital signal processor,dsp)、专用集成电路(application specific integrated circuit,asic)、现场可编程门阵列(field-programmable gate array,fpga)或者其他可编程逻辑器件、分立门或者晶体管逻辑器件、分立硬件组件。可以实现或者执行本技术实施例中的公开的各方法、步骤及逻辑框图。通用处理器可以是微处理器或者该处理器也可以是任何常规的处理器等。结合本技术实施例所公开的方法的步骤可以直接体现为硬件译码处理器执行完成,或者用译码处理器中的硬件及软件模块组合执行完成。软件模块可以位于随机存储器,闪存、只读存储器,可编程只读存储器或者电可擦写可编程存储器、寄存器等本领域成熟的存储介质中。该存储介质位于存储器,处理器读取存储器中的信息,结合其硬件完成上述方法的步骤。
108.该电子设备还可执行图6或7中信源方评分数据的请求或发送方法装置执行的方法,并实现信源方评分数据的请求或发送方法装置在图6或7所示实施例的功能,本技术实施例在此不再赘述。
109.本技术实施例还提出了一种计算机可读存储介质,该计算机可读存储介质存储一个或多个程序,该一个或多个程序包括指令,该指令当被包括多个应用程序的电子设备执行时,能够使该电子设备执行图6或7所示实施例中信源方评分数据的请求或发送方法装置执行的方法,并具体用于执行前述方法。
110.本领域内的技术人员应明白,本技术的实施例可提供为方法、系统、或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例、或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
111.本技术是参照根据本技术实施例的方法、设备(系统)、和计算机程序产品的流程图和/或方框图来描述的。应理解可由计算机程序指令实现流程图和/或方框图中的每一流程和/或方框、以及流程图和/或方框图中的流程和/或方框的结合。可提供这些计算机程序指令到通用计算机、专用计算机、嵌入式处理机或其他可编程数据处理设备的处理器以产生一个机器,使得通过计算机或其他可编程数据处理设备的处理器执行的指令产生用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的装置。
112.这些计算机程序指令也可存储在能引导计算机或其他可编程数据处理设备以特定方式工作的计算机可读存储器中,使得存储在该计算机可读存储器中的指令产生包括指令装置的制造品,该指令装置实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能。
113.这些计算机程序指令也可装载到计算机或其他可编程数据处理设备上,使得在计算机或其他可编程设备上执行一系列操作步骤以产生计算机实现的处理,从而在计算机或其他可编程设备上执行的指令提供用于实现在流程图一个流程或多个流程和/或方框图一个方框或多个方框中指定的功能的步骤。
114.在一个典型的配置中,计算设备包括一个或多个处理器(cpu)、输入/输出接口、网
络接口和内存。
115.内存可能包括计算机可读介质中的非永久性存储器,随机存取存储器(ram)和/或非易失性内存等形式,如只读存储器(rom)或闪存(flash ram)。内存是计算机可读介质的示例。
116.计算机可读介质包括永久性和非永久性、可移动和非可移动媒体可以由任何方法或技术来实现信息存储。信息可以是计算机可读指令、数据结构、程序的模块或其他数据。计算机的存储介质的例子包括,但不限于相变内存(pram)、静态随机存取存储器(sram)、动态随机存取存储器(dram)、其他类型的随机存取存储器(ram)、只读存储器(rom)、电可擦除可编程只读存储器(eeprom)、快闪记忆体或其他内存技术、只读光盘只读存储器(cd-rom)、数字多功能光盘(dvd)或其他光学存储、磁盒式磁带,磁带磁磁盘存储或其他磁性存储设备或任何其他非传输介质,可用于存储可以被计算设备访问的信息。按照本文中的界定,计算机可读介质不包括暂存电脑可读媒体(transitory media),如调制的数据信号和载波。
117.还需要说明的是,术语“包括”、“包含”或者其任何其他变体意在涵盖非排他性的包含,从而使得包括一系列要素的过程、方法、商品或者设备不仅包括那些要素,而且还包括没有明确列出的其他要素,或者是还包括为这种过程、方法、商品或者设备所固有的要素。在没有更多限制的情况下,由语句“包括一个
……”
限定的要素,并不排除在包括所述要素的过程、方法、商品或者设备中还存在另外的同一要素。
118.本领域技术人员应明白,本技术的实施例可提供为方法、系统或计算机程序产品。因此,本技术可采用完全硬件实施例、完全软件实施例或结合软件和硬件方面的实施例的形式。而且,本技术可采用在一个或多个其中包含有计算机可用程序代码的计算机可用存储介质(包括但不限于磁盘存储器、cd-rom、光学存储器等)上实施的计算机程序产品的形式。
119.以上所述仅为本技术的实施例而已,并不用于限制本技术。对于本领域技术人员来说,本技术可以有各种更改和变化。凡在本技术的精神和原理之内所作的任何修改、等同替换、改进等,均应包含在本技术的权利要求范围之内。

技术特征:


1.一种信源方评分数据的请求方法,其特征在于,所述方法通过数据请求平台实现,所述平台包括两两通信连接的信息管理系统、至少一个信源系统、网络存储器;所述方法用于所述信息管理系统,所述方法包括:接收待评分原始文件;将所述待评分原始文件进行分表,得到多个数据表,并存储于数据库中;从所述数据库读取各所述数据表,并根据所述数据表生成多个待评分小文件,发送至所述网络存储器中,以使各所述信源系统根据请求通知或者定时任务载入所述网络存储器,拉取对应的待评分小文件,并根据拉取的待评分小文件对目标用户进行评分,以及将评分结果返回至所述网络存储器;载入所述网络存储器获取评分结果,并存储于所述数据库中。2.根据权利要求1所述的方法,其特征在于,所述将所述待评分原始文件进行分表,得到多个数据表,并存储于数据库中,具体包括:将所述待评分原始文件缓存于本地存储器中;调用文件读存工具,从所述本地存储器读取所述待评分原始文件;将所述待评分原始文件按照预设维度进行分表,得到多个数据表;采用maybatis批处理方式,将得到的多个数据表存储于所述数据库中。3.根据权利要求1所述的方法,其特征在于,所述从所述数据库读取各所述数据表,并根据各所述数据表生成多个待评分小文件,发送至所述网络存储器中,具体包括:采用并行机制,从所述数据库读取各所述数据表;解析各所述数据表,得到至少一个目标客户的待评分数据;按照客户维度或者渠道维度生成至少一个待评分小原文件以及对应的结束标记文件;对生成的各所述待评分小原文件进行加密,得到各所述待评分小原文件分别对应的待评分小文件、以及各所述待评分小文件对应的结束标记文件;将各所述待评分小文件以及对应的结束标记文件发送至所述网络存储器中。4.根据权利要求1所述的方法,其特征在于,所述登录所述网络存储器获取评分结果数据,并存储于所述数据库中,具体包括:载入所述网络存储器;采用并行机制,读取评分结果;对所述评分结果进行解密,得到至少一个目标客户的评分信息;将所述评分信息存储于所述数据库中。5.一种信源方评分数据的发送方法,其特征在于,所述方法通过数据请求平台实现,所述平台包括两两通信连接的信息管理系统、至少一个信源系统、网络存储器;所述方法用于各所述信源系统中,所述方法包括:接收请求通知;根据所述请求通知或者定时任务载入所述网络存储器,拉取对应的待评分小文件,其中,所述待评分小文件是所述信息管理系统根据所述待评分原始文件生成并发送至所述网络存储器中的;根据所述待评分小文件对目标用户进行评分,并将评分结果返回至所述网络存储器,以使所述信息管理系统载入所述网络存储器并获取评分结果数据。
6.根据权利要求5所述的方法,其特征在于,所述方法还包括:将信源接入公共代码进行封装;通过接入配置控件,调用封装后的信源接入公共代码,以接入所述数据请求平台。7.一种信源方评分数据的请求装置,其特诊在于,所述装置部署于信息管理系统中,所述装置包括:第一接收单元,用于接收待评分原始文件;存储单元,用于将所述待评分原始文件进行分表,并存储于数据库中;切分以及发送单元,用于从所述数据库读取所述待评分原始文件,并根据所述待评分原始文件生成多个待评分小文件,发送至所述网络存储器中,以使各所述信源系统载入所述网络存储器,拉取对应的待评分小文件,并根据所述待评分小文件对目标用户进行评分,以及将评分结果返回至所述网络存储器;结果获取单元,用于载入所述网络存储器获取评分结果数据。8.一种信源方评分数据的发送装置,其特征在于,所述方法用于各所述信源系统中,所述方法包括:第二接收单元,用于接收请求通知;评分单元,用于根据所述请求通知或者定时任务载入所述网络存储器,拉取对应的待评分小文件,其中,所述待评分小文件是所述信息管理系统根据所述待评分原始文件生成并发送至所述网络存储器中的;发送单元,用于根据所述待评分小文件对目标用户进行评分,并将评分结果返回至所述网络存储器,以使所述信息管理系统载入所述网络存储器并获取评分结果数据。9.一种计算机可读存储介质,所述计算机可读存储介质存储有计算机程序,其特征在于,所述计算机程序被处理器指令时实现如权利要求1~4或5~6任一项所述的方法。10.一种电子设备,包括:处理器;以及被安排成存储计算机可执行指令的存储器,所述可执行指令在被执行时使所述处理器执行所述权利要求1~4或5~6所述方法。

技术总结


本申请公开了一种信源方评分数据的请求及发送方法、装置、系统及设备,其请求方法包括:接收待评分原始文件;将待评分原始文件进行分表,得到多个数据表,并存储于数据库中;从数据库读取各数据表,并根据数据表生成多个待评分小文件,发送至网络存储器中,以使各信源系统根据请求通知或者定时任务载入网络存储器,拉取对应的待评分小文件,并根据拉取的待评分小文件对目标用户进行评分,以及将评分结果返回至网络存储器;载入网络存储器获取评分结果,并存储于所述数据库中。本申请采用先落库,后处理的方式,避免了处理中断问题;借助于网络存储器,保证数据稳定性,避免频繁请求结构,由于网络故障,导致处理超时以及数据丢失等问题。等问题。等问题。


技术研发人员:

车方旭 颜星星 徐仪博 何自兴

受保护的技术使用者:

平安付科技服务有限公司

技术研发日:

2022.09.14

技术公布日:

2022/12/12


文章投稿或转载声明

本文链接:http://www.wtabcd.cn/zhuanli/patent-1-45348-0.html

来源:专利查询检索下载-实用文体写作网版权所有,转载请保留出处。本站文章发布于 2022-12-17 21:07:58

发表评论

验证码:
用户名: 密码: 匿名发表
评论列表 (有 条评论
2人围观
参与讨论