真正的利器:对比学习SimCSE

更新时间:2023-06-27 05:08:41 阅读: 评论:0

tosun
structure是什么意思>pant什么意思luo是什么意思图
image.png
游戏培训学校
image.png
为什么会强这么多呢?这是个好问题
可能是,增强嘛,⽆⾮对输⼊的原始词做改变,⽆论是删除,替换,回译等等吧,毕竟是源头上,离最后的输出太远了。⽽ Dropout基本上是最后的阶段,⼲掉⼀些神经元,可能效果更直接⼀些。
Supervid SimCSE
推荐信范文image.png
正例就是⼈⼯标注的相关的,负例就是batch中其他的负样本。
manhub com损失函数:
image.png
如下图:
image.png
Two dogs are running. 和 There are animals outdoors. 是⼈⼯标注的相关的两句话,所以是正例,⽤实线连接的。
amico其他的都是负例,⽤虚线连接的。同⼀个batch的中的。
mab培训
我也爱你英文总结
整篇论⽂,我觉的两个亮点:
1.考虑到了拉⼤当前样本和不相关样本的距离,uniformity。 ⽽原始的Bert仅仅考虑了相似样本越相似越好,不会考虑不同的样本间的距离增⼤,也就是Alignment。
2. Dropout在Encoder内部⼲预,要⽐源头增强更好,更直接。

本文发布于:2023-06-27 05:08:41,感谢您对本站的认可!

本文链接:https://www.wtabcd.cn/fanwen/fan/78/1048970.html

版权声明:本站内容均来自互联网,仅供演示用,请勿用于商业和其他非法用途。如果侵犯了您的权益请与我们联系,我们将在24小时内删除。

标签:样本   相关   增强   可能
相关文章
留言与评论(共有 0 条评论)
   
验证码:
推荐文章
排行榜
Copyright ©2019-2022 Comsenz Inc.Powered by © 专利检索| 网站地图