backbone、head、neck等深度学习中的术语解释
报读我们在阅读⽂章的时候，经常看到backbone head neck 这⼀类的术语，但是我们可能并不知道是什么意思，这篇⽂章就是对这些术语进⾏解释：主题班会ppt
1.backbone：翻译为主⼲⽹络的意思，既然说是主⼲⽹络，就代表其是⽹络的⼀部分，那么是哪部分呢？翻译的很好，主⼲部分，哈哈哈哈，⽂字游戏了哈。这个主⼲⽹络⼤多时候指的是提取特征的⽹络，其作⽤就是提取图⽚中的信息，共后⾯的⽹络使⽤。这些⽹络经常使⽤的是resnet VGG等，⽽不是我们⾃⼰设计的⽹络，因为这些⽹络已经证明了在分类等问题上的特征提取能⼒是很强的。在⽤这些⽹络作为backbone的时候，都是直接加载官⽅已经训练好的模型参数，后⾯接着我们⾃⼰的⽹络。让⽹络的这两个部分同时进⾏训练，因为加载的backbone模型已经具有提取特征的能⼒了，在我们的训练过程中，会对他进⾏微调，使得其更适合于我们⾃⼰的任务。
2.head：head是获取⽹络输出内容的⽹络，利⽤之前提取的特征，head利⽤这些特征，做出预测。
斐讯路由器密码3.neck：是放在backbone和head之间的，是为了更好的利⽤backbone提取的特征
4.bottleneck：瓶颈的意思，通常指的是⽹⽹络输⼊的数据维度和输出的维度不同，输出的维度⽐输⼊的⼩了许多，就像脖⼦⼀样，变细了。经常设置的参数 bottle_num=256，指的是⽹络输出的数据的维度是256 ，可是输⼊进来的可能是1024维度的。
5.GAP：在设计的⽹络中经常能够看到gap这个层，我之前不知道是⼲啥的，后了解了，就是Global Average Pool全局平均池化，就是将某个通道的特征取平均值，经常使⽤AdaptativeAvgpoold(1)，在pytorch中，这个代表⾃适应性全局平均池化，说⼈话就是将某个通道的特征取平均值。
lf.gap = nn.AdaptiveAvgPool2d(1)
6.Embedding: 深度学习⽅法都是利⽤使⽤线性和⾮线性转换对复杂的数据进⾏⾃动特征抽取，并将特征表⽰为“向量”（vector），这⼀过程⼀般也称为“嵌⼊”（embedding）
7.⽤于预训练的任务被称为前置/代理任务(pretext task)，⽤于微调的任务被称为下游任务(downstream task)
⾥⾯的beta就是temperature parameter，他在运算的时候起到什么作⽤呢？是这样的，他可以起到平滑softmax输出结果的作⽤，举例⼦如下：
import torch
x = sor([1.0,2.0,3.0])郑州烤鸭店
y = torch.softmax(x,0)
print(y)
x1 = x / 2 # beta 为2
y = torch.softmax(x1,0)
print(y)葬英雄
x2 = x/0.5 # beta 为0.5
y = torch.softmax(x2,0)
李定国
print(y)
晴朗的天空
输出结果如下：
tensor([0.0900, 0.2447, 0.6652])
tensor([0.1863, 0.3072, 0.5065])
tensor([0.0159, 0.1173, 0.8668])
当beta>1的时候，可以将输出结果变得平滑，当beta<1的时候，可以让输出结果变得差异更⼤⼀下，更尖锐⼀些。如果beta⽐较⼤，则分类的crosntropy损失会很⼤，可以在不同的迭代次数⾥，使⽤不同的beta数值，有点类似于学习率的效果。
9.热⾝Warm up。Warm up指的是⽤⼀个⼩的学习率先训练⼏个epoch，这是因为⽹络的参数是随机初始化的，⼀开始就采⽤较⼤的学习率容易数值不稳定。
生活好习惯
10 end to end 在论⽂中经常能遇到end to end这样的描述，那么到底什么是端到端呢？其实就是给了⼀个输⼊，我们就给出⼀个输出，不管其中的过程多么复杂，但只要给了⼀个输⼊，机会对应⼀个输出。⽐如分类问题，你输⼊了⼀张图⽚，肯呢个⽹络有特征提取，全链接分类，概率计算什么的，但是跳出算法问题，单从结果来看，就是给了⼀张输⼊，输出了⼀个预测结果。End-To-End的⽅案，即输⼊⼀张图，输出最终想要的结果，算法细节和学习过程全部丢给了神经⽹络。
11 domain adaptation 和domain generalization 域适应和域泛化
域适应中，常见的设置是源域D_S完全已知，⽬标域D_T有或⽆标签。域适应⽅法试着将源域知识迁移到⽬标域。第⼆种场景可以视为domain generalization域泛化。这种更常见因为将模型应⽤到完全未知的领域，正因为没有见过，所以没有任何模型更新和微调。这种泛化问题就是⼀种开集问题，由于所需预测类别较多，所以⽐较头疼
