KBQA常⽤的问答数据集之WebQSP
⽬录
1. 论⽂相关
WebQuestionsSP [Yih et al., 2016]
源⾃论⽂：
2. 数据集概述
2.1 内容介绍
WebQSP(WebQuestionsSP) ⽬标知识库是Freeba。该数据集可⽤在Question Answering，Semantic Parsing和Entity
Linking任务。
2.2 数据统计
WebQSP 数据集划分
Total4737
Training3098
学习日志
Testing1,639
2.3 ⽂件介绍
该数据集包含四个⽂件：WebQSP.[test|train].[partial|_].json. 其中，train/test 划分跟WebQuestions中的⼀样。训练集和测试集被另外分割成主数据集(ain.json, st.json)和额外的“部分”问题(即有效的解析⽆法表⽰，或问题本⾝是坏的或需要⼀个描述性的回答)。
陈德贵eval/eval.py ：⽤python语⾔写的评估脚本 。
评估脚本的使⽤⽅法：
python eval.py goldData predAnswers
json ：使⽤完整语义解析训练的STAGG系统的输出。
3. 模型性能⽐较
各模型在数据集WebQSP上的表现
模型(年份)Hit@1F1Accuracy论⽂代码链接
NSM(2017)69.059.5 HR-BiLSTM
(2017)
82.53 GRAFT-Net(2018)67.862.8
故都的秋原文PullNet(2019)68.1
TextRay(2019)60.3
SSRP(2019)72.61
FullModel(2019)68.267.9
*UHop(2019)
(通过对⽐显⽰有
⽤)
Tree2Seq(2019)63.7
QGG(2020)74.0
ReifKB(2020)52.7
HGCN(2020)66.960.1
MULTIQUE(2020)61.16
Rigel-
73.3
Interct(2021)
许多的拼音Rigel-E2E(2021)45.0
保龄球游戏NMSER(2021)71.671.0
喷鱼泉BERT-bad KBQA
71.263.4
(2021)z开头的是什么火车
TransferNet(2021)71.4
EmbedKGQA(2021)66.6
NSM(2021)68.7
BART-large(2021)74.174.6
shrink KB(2021)66.0
RecHyperNet(2021)68.4
内容将持续更新，欢迎⼤家评论和补充~
>共享盘怎么设置
