-2022最新对比学习（Contrastive Learning）相关必读论文整理分享_lqfarmer的博客

举例来说，在自编码器中对数据样本编码成特征再解码重构，这里认为重构的效果比较好则说明模型学到了比较好的特征表达，而重构的效果通过pixel label的loss来衡量。自监督学习属于无监督学习范式的一种，特点是不需要人工标注的类别标签信息，直接利用数据本身作为监督信息，来学习样本数据的特征表达，并用于下游任务。Contrastive Learning（对比式方法）这类方法则是通过将数据分别与正例样本和负例样本在特征空间进行对比，来学习样本的特征表示。通过图形互信息最大化（WWW）进行图形表示学习作者：彭震，黄文兵，罗敏楠，郑庆华，于蓉，徐挺阳，黄俊洲 InfoGraph：通过互信息最大化（ICLR）进行无监督和半监督的图形级表示学习作者：孙凡云，乔丹·霍夫曼，维卡斯·维尔玛，唐健 2019年深度图InfoMax（ICLR）作者：PetarVeličković，William Fedus，William L. Hamilton，PietroLiò，Yoshua Bengio和R Devon Hjelm GNN预训练 2020年 GCC：用于图形神经网络预训练（KDD）的图形对比编码作者：邱介中，陈其斌，董玉晓，张静，杨红霞，丁铭，王宽三，唐洁具有增强功能的图 对比学习 （NeurIPS）作者：尤宇宁，陈天龙，隋永 Pytorch闪电登录和默认收益（多GPU训练，混合精度等）在GPU装置上收集负片以模拟更大的批次大小（尽管梯度不会在GPU上流动）使用加快数据加载速度（以使用更多GPU内存为代价） SimCLR多分辨率农作物 SimCLR + 预训练后线性评估（通常得出1-1.5％的准确度点）在线线性评估预训练后线性评估 Resnet18 SimCLR Imagenet-100 70.74 71.02 Resnet18 SimCLR Imagenet-100 :check_mark_button:

要说到 对比学习 （ Contrastive L ear ning ），首先要从自监督学习开始讲起。自监督学习属于无监督学习范式的一种，特点是不需要人工标注的类别标签信息，直接利用数据本身作为监督信息，来学习样本数据的特征表达，并用于下游任务。当前自监督学习可以被大致分为两类： Generative L ear ning vs Contrastive L ear ning > python main_mlp.py --help usage: main_mlp.py [-h] [--sphere-r SPHERE_R] [--box-min BOX_MIN] [--box-max BOX_MAX] [--sphere-norm] [--box-norm] [--only-supervised] [--only-unsupervised] [--more-unsupervised MORE_UNSUPERVISED] [--save-dir SAVE_DIR] [--num-eval-batches NUM

Contrastive L ear ning of Class-agnostic Activation Map for Weakly Supervised Object Localization and Semantic Segmentation 由于前景对象的语义信息不同于背景对象，因此前景对象的表示分布（蓝色）远离背景（绿色）。外观相似或背景具有相似颜色/纹理的前景对象在特征空间中也有相似的表示。基于这些观察结果，可以形成正对和负对的 对比学习 。利用tSNE[34]来降低特征的维数。1）前景的语义信息通常与背