one-shot语义分割算法练习英语听力的电影
pressreader
⽂章出处 Shaban, Amirreza, et al. “One-shot learning for mantic gmentation.” arXiv preprint arXiv:1709.03410 (2017).
One-Shot Semantic Segmentation 问题定义
当 测试集中出现新类(不包括在训练集中),同时在测试集中仅仅 给定该新类的⼀张图⽚和对应语义分割结果 (Support Set),如何对其他测试图⽚ (Query Image) 进⾏语义分割?
scott mckenzie算法框架 —— 如何使⽤ one-shot 信息
Two-Branch 框架
感想英文smartbox思路是⽤两个分⽀:⼀个分⽀接受 one-shot 信息并且预测动态参数,另⼀个分⽀在已经学到的既有分割知识的同时融合 one-shot 的动态参数。关键在于理解 先验知识融⼊既有分割⽹络的⽅式!
Conditioning Branch。输⼊ image-annotation pair 作为 supporting t 的 one-shot 信息,输出是 动态变化的参数。其实这边可以理解成⼴义上的 fine-tuning 操作:最朴素的解决 one-shot learning 的⽅法就是将预训练的⽹络在 one-shot 信息上进⾏ fine-tuning 调整某些⽹络参数。所以这⾥ Conditional Branch 是根据不同的 one-shot 信息得到的不同的参数,这些参数后⾯也整合在Segmentation Branch 上类似于⼴义的参数调整 fine-tuning,进⽽在分割⽹络中加⼊特定的来源于 one-shot 信息的先验知识。brimming
Segmentation Branch。接受 Conditioning Branch 输出的动态参数信息,进⽽对当前新的待分割图像进⾏分割。其中最后得到的conv-fc7 可以理解成 embedding 空间,因此这⾥也可以考虑采⽤ metric learning 的⽅式实现 one-shot learning。
chine农村ree>在线翻译软件
讨论
sick是什么意思>rng什么意思Conditioning Branch 是这个⼯作的核⼼部分,通过这样动态改变 Segmentation Branch 中的某些参数从⽽达到 Fine-Tuning 分割⽹络的⽬的。这种改变是引⼊先验信息的⼀种⽅式,类似的⼯作也有 conditional convolution 操作等。