从对⽐学习（ContrastiveLearning）到对⽐聚类
（ContrastiveCl。。。
哈士奇多少钱星冰乐英文从对⽐学习(Contrastive Learning)到对⽐聚类(Contrastive Clustering)
作者：凯鲁嘎吉 - 博客园
想要了解对⽐聚类，⾸先应该清楚对⽐学习的整个过程。最经典的对⽐学习的⽂章是Hinton团队提出的SimCLR，该⽅法⾸先将⼀个实例(图像)变换成两种不同的增⼴实例(图像)，然后⽤神经⽹络训练得到投影表⽰，⽤余弦相似性求出两两投影表⽰之间的相似性，并最⼤化相同实例投影表⽰之间的⼀致性。⽽对⽐聚类(CC)完全借鉴SimCLR的思想，唯⼀的区别是之前的对⽐学习是实例层⾯的，横向进⾏对⽐，⽽CC则添加了⼀个聚类层⾯的对⽐学习，纵向进⾏对⽐。通过同时最⼩化两个层⾯的损失函数，最终得到聚类层⾯上的⽹络权重，进⽽得到划分结果。
1. 对⽐学习
2. 对⽐聚类
科普作文400字CC创新：花开瞬间
行政是什么
⼀⽅⾯，从聚类的⾓度，受益于“标签即表⽰”及“列空间对应类别表⽰空间”的洞见，本⽂提出的⽅法⽆需所有数据输⼊后才能进⾏聚类，⽽是采⽤在线的⽅式实时对当前数据进⾏聚类⾪属预测，适⽤于⼤
规模在线场景和流式数据处理。⼤量实验表明，提出的⽅法在CIFAR10，CIFAR100等数据集上⽐当时最优聚类算法提升精度30%以上。
借怎么组词另⼀⽅⾯，从对⽐学习⾓度，该⼯作是最早的⾯向任务的对⽐学习⽅法，⽽不再是流⾏的任务⽆关⽆监督表⽰学习范式。
此外，本⽂提出的算法也可认为是⼀种新的引⼊聚类性质从⽽增强表⽰学习能⼒的对⽐学习⽅法，为对⽐学习研究领域引⼊新的洞见。
本⽂的整个idea⾮常优雅、简洁及⾃洽。相对于最新的SimCLR等对⽐学习算法，本⽂提出的算法仅需在考虑数据特征⾏空间对⽐学习的同时再考虑列空间的对⽐学习即可。
思考：
对⽐聚类中⽤红⾊⽅框框出来的就是不同于SimCLR的地⽅，如果去掉红框的内容，那就完全是SimCLR。以往都是在⾏空间上进⾏对⽐学习，CC的创新之处在于引⼊列空间上的对⽐学习(矩阵⼤⼩为：样本数*聚类个数)。但列空间上的对⽐学习的损失函数与SimCLR完全⼀致，没有任何改进。对⽐学习主要⽬的是最⼤化同⼀实例之间的相似性，⽽最⼩化不同实例之间的相似性。总体来说，该算法最适⽤于图像类型的数据，因为刚开始涉及到随机变换函数是对图像进⾏⼀系列变换操作。本⼈理解有限，欢迎指正。
环境描写句子
3. 采⽤最近邻进⾏语义聚类(SCAN)
简约而不简单在没有真实标注的情况下，我们是否能⾃动将图像划分为语义意义上的簇?⽆监督图像分类在计算机视觉领域仍然是⼀个重要的开放的挑战性任务。最近有⼏种⽅法试图以端到端的⽅式解决这个问题。在这篇论⽂中，通过两步的⽅法进⾏聚类，其中特征学习和聚类是分开进⾏的。⾸先，利⽤表征学习的⾃监督任务来获取语义特征。其次，在可学习的聚类⽅法中，使⽤获得的特征作为先验。在此过程中，去掉了依赖于底层特征的聚类学习能⼒，这在当前的端到端学习⽅法中是存在的。具体来看该算法Semantic Clustering by Adopting Nearest
neighbors (SCAN)。
