基于中心句识别和Bert意图识别的智能催收辅助系统的制作方法
基于中心句识别和bert意图识别的智能催收辅助系统
技术领域
1.本发明涉及智能催收技术领域，尤其涉及基于中心句识别和bert意图识别的智能催收辅助系统。
背景技术：
2.随着人工智能技术的发展，文本提取、意图识别、话术匹配、文本生成等智能技术为催收提供了新引擎。在客户催收的过程中，提取出客户回答的文本中心句。在催收过程的信息传递、协商还款等流程中，提取出客户的多种意图，包含客户描述不能还款的原因。为了缓解客户心情，同时又要达到催收的目的，针对不同的意图，需要实时显示合适的话术回答。
3.电话催收是最主要的催收方式，催收员在与客户交流过程，如果客户的情绪发生较大波动，催收员处理的经验比较欠缺，在无法有效控制话术的情况下，可能会导致催收失败。在催收结束后，催收员需要高效的填写描述客户会话的标签，并撰写催收会话小结，为提高催收效率，可自动填写客户标签和自动生成客户会话小结。为了提升客户体验，增加催收收入；我们提出基于中心句识别和bert意图识别的智能催收辅助系统。
技术实现要素：
4.本发明的目的是针对背景技术中存在的现有的电话催收效率低下，催收效果差的问题，提出基于中心句识别和bert意图识别的智能催收辅助系统。
5.本发明的技术方案：基于中心句识别和bert意图识别的智能催收辅助系统，其中催收系统为外呼系统，通过该界面与客户持续通话，同时显示催收员和客户的标签；包括标准句管理模块、意图管理模块、知识库管理模块、标签管理模块、意图关联模块和会话小结管理模块；
6.所述标准句管理模块不同细分意图的标准句显示；
7.所述意图管理包含模型管理和正则管理；
8.所述知识库管理模块用于对不同的意图进行优选话术配置；
9.所述标签管理模块用于修改通过意图关联自动填充的标签，根据会话内容手动填充预制标签的内容；
10.所述意图关联模块用于增删改查意图与客户预制标签之间的关联关系、导入意图与客户预制标签之间的关联关系；
11.所述会话小结管理模块用于生成催收会话的小结。
12.优选的，所述模型管理包含模型训练、模型测试和模型发布；所述模型管理用于监控模型的状态以及调用模型；
13.所述正则管理包括词槽、规则、模型配置；所述正则管理用于配置模型漏检的句式、词槽；配置句式中的词槽内容；配置违规规则；配置合规规则。
14.优选的，所述知识库管理模块主要内容包括催收案件类型的选择、意图类别设置、
知识库编码设置、知识库名称显示以及显示顺序设置。
15.优选的，所述标签管理模块还包含是否转售、提供其他、是否有还款意向、还款方案要求、延滞期数、投诉点、风险点、挂断节点以及是否本人标签。
16.优选的，所述意图关联管理模块还用于设置意图与客户预制标签之间的关联关系。
17.优选的，所述会话小结模块包含案件类型选择、会话模板选择以及会话模板名称；所述会话小结模块还用于增加、删除会话模型；设置会话模板的句式、标签；修改自动生成的会话小结；手动填写会话小结。
18.本发明还提出基于中心句识别和bert意图识别的智能催收辅助系统的实现方法，包括以下处理步骤：
19.s1、通过催收系统中客户数据进行标注，并定义催收文本类别；
20.s2、催收文本的词向量进行聚类文本，细分文本类别；
21.s3、通过textrank生成细分类别的标准句；
22.s4、获取标准句后，在线判别是否为文本中心句；
23.s5、训练bert模型，并补充漏检规则、违规、合规规则优化模型，判别是否为文本中心句，加载模型对文本中心句进行意图识别；
24.s6、自动显示催收优选话术；
25.s7、自动生成会话小结。
26.优选的，所述s1包括收集客户的催收历史数据；将客户的意图分为闲聊、不方便接听、同意还款多个意图；根据客户催收历史数据，以及定义的意图，人工标注数据；
27.所述s2包括提取标注数据中同类型的意图；对该意图每个的句子进行分词、去除停用词、词向量，得到句向量；利用每个的句子句向量，kmeans进行文本聚类，得到意图问句的细分类别；根据文本的分布情况，选取合适的细分类别的取值；
28.所述s3包括针对每个细分意图类别的句向量，textrank进行句子抽取；利用textrank算法，将文本数据作为图的节点，文本与文本之间的相似度作为邻接矩阵；利用某个句子的价值是由链接到这个句子的每个句子的价值和对应的权重决定的原则筛选出最能代表这个细分类别的10个标准问句；保存标准句的句向量到数据库；
29.所述s4包括进行模型判别和不进行模型判别两种方式：不进行模型判别：在客户的对话内容中含有关键词的，作为文本中心句；进行模型判别：调取细分类别的标准问句，将该句的句向量与标准问句计算相似度，如果存在高于阈值的标准问句，则该句被认定为文本中心句；
30.所述s5训练模型及优选包含：字向量、词嵌入、双向长短记忆网络模型；词向量、词嵌入、双向长短记忆网络模型；基于albert预训练的微调深度模型；基于bert预训练的微调深度模型；
31.补充漏检规则、违规合规规则包括：带有明显规律的句式使用规则，判定所属类别，即漏检规则；
32.模型判别后需要经验的违规和合规判别，优化模型结果，即违规合规规则；
33.违约规则配置：如果命中，需要保留；未命中，需要排除；
34.合规规则配置：如果命中，需要排除；未命中，需要保留；
35.加载模型，文本中心句意图识别催收过程中自动识别客户的回答是否为文本中心句，如果是文本中心句，自动加载优选模型及漏检规则、违规合规规则，判别意图类别；
36.所述s6用于在知识库配置模块中，配置意图对应话术；检出意图标签后，自动显示催收优选话术；
37.所述s7用于配置根据标签生成会话小结需要的会话模板；客户标签、会话模板自动生成会话小结。
38.与现有技术相比，本发明具有如下有益的技术效果：
39.1、本发明模型训练包括字向量、词嵌入、双向长短记忆网络模型；基于albert预训练词特征的深度模型；基于bert预训练的微调深度模型；并结合补充漏检规则，优化模型结果；实现文本中心句的精准识别，提高智能催收识别语句中心句的效果；
40.2、本发明系统为客户预制了一些标签，包括是否转售、提供其他、是否有还款意向、还款方案要求等，可以通过意图关联管理设置意图与标签的关联显示，在识别意图后，可以自动填充标签内容，同时也提供手动填充标签的功能；催收员与客户会话完毕后，需要对本次会话做综合性描述，系统提供了由标签生成会话的模板，可以自动生成会话小结，同时也提供了手动填写的功能；
41.3、综上所述，本发明为催收辅助支撑系统，可提高催收成交率，自动填写客户标签和自动生成客户会话小结，提升客户体验，增加催收收入。
附图说明
42.图1是本发明智能催收系统原理框图；
43.图2是本发明bert模型训练结构示意图；
44.图3是本发明模型和漏检规则流程图；
45.图4是本发明智能催收系统实现方法流程图。
具体实施方式
46.下文结合附图和具体实施例对本发明的技术方案做进一步说明。
47.实施例一
48.如图1-3所示，本发明提出的基于中心句识别和bert意图识别的智能催收辅助系统，其中催收系统为外呼系统，通过该界面与客户持续通话，同时显示催收员和客户的标签；包括标准句管理模块、意图管理模块、知识库管理模块、标签管理模块、意图关联模块和会话小结管理模块；
49.标准句管理模块不同细分意图的标准句显示；主要包含包括催收案件类型选择、意图类别设置、细分意图类别设置、标准句显示；
50.意图管理包含模型管理和正则管理；模型管理包含模型训练、模型测试和模型发布；模型管理用于监控模型的状态以及调用模型；
51.正则管理包括词槽、规则、模型配置；正则管理用于配置模型漏检的句式、词槽；配置句式中的词槽内容；配置违规规则；配置合规规则。
52.知识库管理模块用于对不同的意图进行优选话术配置；知识库管理模块主要内容包括催收案件类型的选择、意图类别设置、知识库编码设置、知识库名称显示以及显示顺序
设置。
53.标签管理模块用于修改通过意图关联自动填充的标签，根据会话内容手动填充预制标签的内容；标签管理模块还包含是否转售、提供其他、是否有还款意向、还款方案要求、延滞期数、投诉点、风险点、挂断节点以及是否本人标签。
54.意图关联模块用于增删改查意图与客户预制标签之间的关联关系、导入意图与客户预制标签之间的关联关系；意图关联管理模块还用于设置意图与客户预制标签之间的关联关系。
55.会话小结管理模块用于生成催收会话的小结；会话小结模块包含案件类型选择、会话模板选择以及会话模板名称；会话小结模块还用于增加、删除会话模型；设置会话模板的句式、标签；修改自动生成的会话小结；手动填写会话小结。
56.实施例二
57.如图1-4所示，本发明提出的基于中心句识别和bert意图识别的智能催收辅助系统，相较于实施例一，本实施例智能催收辅助系统的实现方法，包括以下处理步骤：
58.s1、通过催收系统中客户数据进行标注，并定义催收文本类别；
59.s2、催收文本的词向量进行聚类文本，细分文本类别；
60.s3、通过textrank生成细分类别的标准句；
61.s4、获取标准句后，在线判别是否为文本中心句；
62.s5、训练bert模型，并补充漏检规则、违规、合规规则优化模型，判别是否为文本中心句，加载模型对文本中心句进行意图识别；
63.s6、自动显示催收优选话术；
64.s7、自动生成会话小结。
65.本实施例中s1包括收集客户的催收历史数据；将客户的意图分为闲聊、不方便接听、同意还款多个意图；根据客户催收历史数据，以及定义的意图，人工标注数据；
66.s2包括提取标注数据中同类型的意图；对该意图每个的句子进行分词、去除停用词、词向量，得到句向量；利用每个的句子句向量，kmeans进行文本聚类，得到意图问句的细分类别；根据文本的分布情况，选取合适的细分类别的取值；
67.s3包括针对每个细分意图类别的句向量，textrank进行句子抽取；利用textrank算法，将文本数据作为图的节点，文本与文本之间的相似度作为邻接矩阵；利用某个句子的价值是由链接到这个句子的每个句子的价值和对应的权重决定的原则筛选出最能代表这个细分类别的10个标准问句；保存标准句的句向量到数据库；
68.s4包括进行模型判别和不进行模型判别两种方式：不进行模型判别：在客户的对话内容中含有关键词的，作为文本中心句；进行模型判别：调取细分类别的标准问句，将该句的句向量与标准问句计算相似度，如果存在高于阈值的标准问句，则该句被认定为文本中心句；
69.s5训练模型及优选包含：字向量、词嵌入、双向长短记忆网络模型；词向量、词嵌入、双向长短记忆网络模型；基于albert预训练的微调深度模型；基于bert预训练的微调深度模型；
70.补充漏检规则、违规合规规则包括：带有明显规律的句式使用规则，判定所属类别，即漏检规则；在样本数量多、质量好的情况下，模型效果较好。但在样本质量较差的情况
下，模型会出现漏检，需补充漏检规则弥补模型缺失；在模型判别后，弥补模型误判结果，需要经验的违规和合规判别，优化模型结果；
71.模型判别后需要经验的违规和合规判别，优化模型结果，即违规合规规则；
72.违约规则配置：如果命中，需要保留；未命中，需要排除；
73.合规规则配置：如果命中，需要排除；未命中，需要保留；
74.对每个存在明显规则的类别，进行违约规则及合规规则的配置；
75.在一些特定类别中，规则优于模型；
76.所以需要模型和规则并举，提升识别效果；
77.加载模型，文本中心句意图识别催收过程中自动识别客户的回答是否为文本中心句，自动加载优选模型及漏检规则、违规合规规则，判别意图类别；规则未命中，进入已发布单模型预测；
78.规则命中，进入获取规则对应的标签；
79.已发布模型预测，是否闲聊；
80.闲聊，意图不进行处理；
81.非闲聊，取模型预测分值大于阈值分数较高的意图；
82.查询意图对应映射标签；
83.判断该标签是否有配置过滤违规规则；
84.有配置，获取标签对应的过滤违规规则；
85.判断识别结果；
86.命中规则，判断该标签是否有配置过滤合规规则；
87.有配置，获取标签对应的过滤合规规则；
88.判断识别结果；
89.命中规则，该标签不输出；
90.未命中规则，输出该标签；
91.s6用于在知识库配置模块中，配置意图对应话术；检出意图标签后，自动显示催收优选话术；
92.s7用于配置根据标签生成会话小结需要的会话模板；客户标签、会话模板自动生成会话小结。
93.本实施例中判别文本中心句：
94.在意图识别前，需要判断该句是否需要进行意图识别，即是否是文本中心句。
95.从标注数据中可以看出，如果意图中句式差异不大，只要直接进行句子相似度计算即可获取文本中心句。
96.如果意图中句式类型差异较大。则需要对该意图中的句子进行细分，细分意图均取出一定数量的句子作为标准问句，用来判断是否为文本中心句。
97.具体步骤如下：
98.首先将该意图每个的句子进行分词、去除停用词、形成词的列表；
99.加载word2vec获取词语的词向量，维度为300维，得到词向量的矩阵；
100.经过tf-idf加权，可以得到该词语在句子中的重要程度，如果较重要，则在后续的使用词性量求平均词向量的时候，该词语的词向量占比较大，使用加权平均求句向量；
101.加权的词向量矩阵求和、平均后得到该句的句向量；
102.利用每个句子的句向量，进行kmeans文本聚类；
103.观察k值的多少对分布结果的影响，选取合适的k值，作为细分类别的数量；
104.相互计算每个细分类别的句子余弦相似度，并保存到矩阵；
105.利用textrank算法，将文本数据作为图的节点，文本与文本之间的相似度作为邻接矩阵；
106.利用某个句子的价值是由链接到这个句子的每个句子的价值和对应的权重决定的原则，筛选出最能代表这个细分类别的10个标准问句；
107.判别文本中心句：
108.在使用了文本聚类和textrank关键句提取，获取了标准问句后，作为模型的结果将句子的相似度保存到数据库；
109.获取文本中心句有两种方式，一种是进行模型判别，一种不进行模型判别；
110.进行模型判别，调取细分类别的标准问句，将该句的句向量与标准问句计算相似度，如果存在高于阈值的相似度，则该句被认定为文本中心句；
111.不进行模型判别，在客户的对话内容中，含有关键词的，可作为文本中心句；
112.意图识别模型及优选：
113.意图识别的模型有多种，首先选用的是字向量+embedding+bilstm模型，该模型选取常用汉字5000个，embedding词向量维度为64维，3层隐层，作为模型训练参数；
114.由于字向量割裂了字与字之间的语义，所以再选择fasttext词向量+embedding+bilstm模型，该模型选择词汇常用25000个，embedding词向量维度为300维，1层隐层，作为模型训练参数；
115.基于albert的tiny微调深度模型，4层堆叠encoder，每个encoder使用12-head attention，隐层数量312，外接linear+softmax网络；
116.在训练模型选择和优化过程中，考虑到bert及其改进模型底层采用transformer，bert可在微调模型中生成动态字向量，代替了word2vec的静态词向量；底层transformer采用多头自注意力机制，并加入了位置编码，代替了rnn；自注意力模型代替了seq2seq的编码模型，也提高了计算效率；transformer采用的多头自注意力机制，优化了指代消解问题；
117.优化选择bert+bilstm模型进行训练，参照图2，具体步骤包括：
118.文本数据分成训练集合测试集，80％训练，20％测试；
119.加载训练好了的bert模型，包含18000个字向量；
120.预训练模型参数如下：
121.12层堆叠encoder，每个encoder使用12-head attention，隐层数量768；
122.bert后接lstm网络，作为整个微调模型；
123.lstm网络参数如下：
124.隐层2,词向量300，隐层神经元128
125.softmax层，维度为1000，43
126.利用字的mask预测字，利用[cls]和[sep]预测句子间的间隔，综合这两个任务进行bert模型微调；
[0127]
通过预测样本和真实样本之间的差值，对模型进行迭代优化，最后得到最优模型；
[0128]
为提升总体识别效果，需要模型和规则并举。为部分类别配置了漏检规则，配置意图标签的违规规则，如果命中该规则，该文本属于该意图标签，进入下一步判断。配置意图标签的合约规则，如果命中该规则，文本不属于该意图标签。
[0129]
参照图3，具体实施例的模型及漏检检出流程如下：
[0130]
规则未命中，使用已发布模型预测对应的标签；
[0131]
规则命中，使用规则判断对应的标签；
[0132]
已发布模型预测，是否闲聊；
[0133]
如果属于闲聊类别，该意图跳出，不进行判别处理；
[0134]
如果不属于非闲聊类别，取模型预测分值大于阈值分数较高的意图，作为判断意图；
[0135]
查询该意图对应映射标签；
[0136]
判断该标签是否有配置过滤违规规则；
[0137]
如果有配置过违规规则，获取标签对应的过滤违规规则；
[0138]
进行违规规则的判断，并判断识别结果；
[0139]
如果命中规则，判断该标签是否有配置过滤合规规则；
[0140]
如果有配置，获取标签对应的过滤合规规则；
[0141]
进行合规规则的判断，并判断识别结果；
[0142]
如果命中规则，该标签不输出；
[0143]
如果未命中规则，输出该标签；
[0144]
另外的分支流程，如流程图图3所示
[0145]
模型及漏检检出的类别平均准确率达到84.6％；
[0146]
意图识别完成后，可进行知识库即话术库的优选配置，对意图逐一进行优选回答的配置。在线催收过程中可实时显示优选回答。
[0147]
为描述客户的对话行为，系统为客户预制了一些标签，包括是否转售、提供其他、是否有还款意向、还款方案要求等，可以通过意图关联管理设置意图与标签的关联显示，在识别意图后，可以自动填充标签内容，同时也提供手动填充标签的功能。
[0148]
催收员与客户会话完毕后，需要对本次会话做综合性描述，系统提供了由标签生成会话的模板，可以自动生成会话小结，同时也提供了手动填写的功能。
[0149]
上述具体实施例仅仅是本发明的几种优选的实施例，基于本发明的技术方案和上述实施例的相关启示，本领域技术人员可以对上述具体实施例做出多种替代性的改进和组合。
