负采样NegativeSampling
1.噪声对⽐估计（Noi contrastive estimation）
语⾔模型中，根据上下⽂c，在整个语料库V中预测某个单词w的概率，⼀般采⽤softmax形式，公式为：
泰国有什么好吃的
NCE：将softmax的参数估计问题 转化成 ⼆分类。
正样本：经验分布⽣成的（即真实分布）真实样本标签D=0，
负样本：噪声样本，由q(w)⽣成 对应标签D=1。
从正样本中提取⼀个，从噪声分布中提取k个噪声样本，在总样本（真实样本+噪声样本）中，w代表预测的⽬标词。
那么（d,w）的联合概率分布如下：
生地与熟地的区别
中间省略⼀些计算过程和假设，（）最终：
2.负采样Negative Sampling
（1）负采样Negative Sampling是NCE的⼀个变种，概率的定义有所区别：
(2)负采样的问题
负采样是为了解决类别太多的⼀种折中⽅案.
在实际中需要考虑的点包括：可能会带来偏差；负样本离分界线太远⽽没有价值；分布波动⼤，噪声太强，负样本选取困难；负样本可能本⾝带来正向收益等。在与预期有差距的时候可以考虑⼀下。
⽐如预测任务，负采样可能会使其偏度较⼤，如点击率预估，本来样本点击率为0.01，负采样使正负样本⽐例1:9，那最后样本平均点击率就为0.1，这种任务如果⼀定要负采样肯定要进⾏⼀定的修正。
样本信息过分冗余，通过negative sampling可以在相同机器资源的情况下提⾼训练速度，⽽且对效果影响很有限，这对于有限预算下是很重要的。
负样本不能有效反应⽤户真实意图的情况下，negative sampling可能会带来收益，⽐如有⼀些场景⽤户很可能⼤部分都没有看到⽽导致的负样本采集；
（3）负采样的⽅法
静态负采样、强负例采样、对抗式负采样 、基于图的负采样 和引⼊额外信息的负采样。
①静态负采样 (Static Negative Sampling)
从未交互集中选择已知的样例作为负例，通过给不同的样例设置不同的权重，我们便能根据负例分布进⾏采样。当每个样例被采样为负例的概率不随训练发⽣变化时，我们就称这种采样策略为静态负采样 。
在静态负采样⽅法中，最简单也是应⽤最⼴泛的⽅法是随机负采样 (RNS, viz. Random Negative Sampling)，也被称为均匀负采样(Uniform Negative Sampling)。RNS随机从负例候选集中选择⼀个作为负例，在不考虑负采样的研究中，研究者们⼀般使⽤ RNS 作为基础的采样⽅法，以便公平地和 baline 进⾏⽐较。
对于每个正例⽽⾔，不同的负例带来的影响并不相同，⼀种启发式的负例分布的策略是基于流⾏度的负采样 (PNS, viz. Popularity-biad Negative Sampling)。**流⾏度可以通过频次 (frequency) 或度 (degree) 来反映，**即样本 被选为负例的概率和 的流⾏度的 次⽅具有⽐例关系。
②强负例采样 (Hard Negative Sampling)
所谓强负例 (hard negative) 的 hard 取决于模型，那些被错误分类的样例，或是预测得分更⾼的负例，与改进模型结果更为相关。
邮储信用卡
③对抗式负采样 (Adversarial Sampling)
诗评
三皇五帝夏商周对抗式负采样⽅法通常基于 GAN 来选择负例。
白菜馅饺子**GAN:**随机⽣成，判断正误，打回去重新⽣成，再判断…
④基于图的负采样 (Graph-bad Sampling)
基于图的负采样⽅法则是进⼀步结合样例在图上的结构 (structural) 信息。
⑤引⼊额外信息的负采样 (Additional Data Enhanced Sampling)
筝形的性质⼀些⼯作利⽤社交⽹络中的联系、⽤户的地理位置、商品的类别信息以及额外的交互数据，例如⽤户浏览但没有被点击的商品 (viewed but non-clicked) ，以及⽤户点击了却没有购买的商品 (clicked but non-purchad) 来增强负例的选取。
在⼯业的推荐场景中，不同的⾏为 (⽐如浏览、点击、添加购物车、购买) 是建模⽤户偏好的关键。
(4)融⼊课程学习 (Curriculum Learning)
(5)负采样⽐例
负采样⽅法主要是为了提升负例质量，⽽负采样⽐例则是决定了负例的数量。
主要参考：
小儿脑性瘫痪关于第⼀部分NCE具体的推导过程其实还是有些半懂不懂，等以后有需要可以进⼀步完善⼀下。
总结，
负采样其实就是对于⼀些负案例给予⼀定的权重，就是⼀种思想，那就是没有包含需要调查的内容的那些数据也有价值。具体的操作和应⽤需要更多知识。
学习整理，如果有错误的地⽅⿇烦⼤佬指出，谢谢！
