深度学习多模态融合_浅谈深度学习与知识模型的融合之道

深度学习多模态融合_浅谈深度学习与知识模型的融合之道

最近，我受邀于三个不同的场合

Medical Image Understanding and Analysis (MIUA年度工作总结开头 ), Liverpool, United Kingdom

International Symposium on Image Computing and Digital Medicine (ISICDM), Xi'a巴厘岛美食 n, China

Vision and Learning Seminar (VALSE) Webinar

以医学影像分析为实例，阐述了如何进⾏深度学习deep learning与知识模型knowledge modeling的融合，其中讲到的实际上是⼀些⽐较

浅显的道理。会后，我经常收到不少询问，请求分享ppt。遂整理如下，以飨读者，希望⼤家批评指正，共同提⾼。

深度学习的成语属性

深度学习与知识模型的融合之道

在输⼊端的融合，主要在于丰富输⼊端的信息 (more inputs)。如果有现成的多模态数据，则要尽量⽤上。如果没有现成的多模态数据，可

以考虑合成出新的模态，所谓‘没有条件创造条件也要上。’

在输出端的融合，主要在于多任务学习multitask learning以‘巧妙’地利⽤更多的样本中长发直发 信息、使⽤新的表达novel reprentation、或引

⼊先验知识(better priors)。

在算法中引⼊知识，主要在于设计新的⽹络架构(network design)或利⽤成像原理(such as imaging physics or geometry) 等。

⾃逆⽹络idea特别简单，但实验上似乎很有效。希望有⼤神可以从原理上解释为何⼯作。

⾦属英语家教 伪影在影像中表现为条纹状四射，因此在图空间域不好处理；⽽独角仙简笔画 在电脑鼠标不动怎么办 sinogram域则局部化了，相对容易handle。DuDoNet (dual-

doma表示悲伤的词语 in network)在两个域都进⾏修正，效果加倍。

以下是⼴告部分。