特征融合FFM(FeatureFusionModule)特征融合模块
科普书FFM(Feature Fusion Module) 特征融合模块
鸭妈妈简笔画像FPN, FCN等都属于特征融合
酸性溶液在深度学习的很多⼯作中(例如⽬标检测、图像分割),融合不同尺度的特征是提⾼性能的⼀个重要⼿段。低层特征分辨率更⾼,包含更多位置、细节信息,但是由于经过的卷积更少,其语义性更低,噪声更多。⾼层特征具有更强的语义信息,但是分辨率很低,对细节的感知能⼒较差。如何将两者⾼效融合,取其长处,弃之糟泊,是改善分割模型的关键。
说谎的歌词很多⼯作通过融合多层来提升检测和分割的性能,按照融合与预测的先后顺序,分类为早融合(Early fusion)和晚融合(Late fusion)。
早融合(Early fusion): 先融合多层的特征,然后在融合后的特征上训练预测器(只在完全融合之后,才统⼀进⾏检测)。这类⽅法也被称为skip connection,即采⽤concat、add操作。这⼀思路的代表是Inside-Outside Net(ION)和HyperNet。两个经典的特征融合⽅法:
富营销(1)concat:系列特征融合,直接将两个特征进⾏连接。两个输⼊特征x和y的维数若为p和q,输出特征z的维数为p+q;
世界杯几点开始(2)add:并⾏策略,将这两个特征向量组合成复向量,对于输⼊特征x和y,z = x + iy,其中i是虚数单位。
晚融合(Late fusion):通过结合不同层的检测结果改进检测性能(尚未完成最终的融合之前,在部分融合的层上就开始进⾏检测,会有多层的检测,最终将多个检测结果进⾏融合)。这⼀类研究思路的代表有两种:
(1)feature不融合,多尺度的feture分别进⾏预测,然后对预测结果进⾏综合,如Single Shot MultiBox Detector (SSD) ,
感慨的句子
Multi-scale CNN(MS-CNN)红色童谣
(2)feature进⾏⾦字塔融合,融合后进⾏预测,如Feature Pyramid Network(FPN)等。