要说到对比学习(Contrastive Learning),首先要从自监督学习开始讲起。自监督学习属于无监督学习范式的一种,特点是不需要人工标注的类别标签信息,直接利用数据本身作为监督信息,来学习样本数据的特征表达,并用于下游任务。
当前自监督学习可以被大致分为两类:
Generative Learning vs Contrastive Learning
Generative Learning(生成式方法)这类方法以自编码器为代表,主要关注pixel label的loss。举例来说,在自编码器中对数据样本编码成特征再解码重构,这里认为重构的效果比较好则说明模型学到了比较好的特征表达,而重构的效果通过pixel label的loss来衡量。
Contrastive Learning(对比式方法)这类方法则是通过将数据分别与正例样本和负例样本在特征空间进行对比,来学习样本的特征表示。Contrastive Learning主要的难点在于如何构造正负样本。
对比学习做为一种新兴热门深度学习算法,从起步逐步编程学术界和工业界研究的主流。本资源整理了最近几年对比学习相关论文,需要的朋友自取。
资源整理自网络,资源获取见源地址:
https://github.com/asheeshcric/awesome-contrastive-self-supervised-learning
AI必读10本经典-深度学习花书《Deep Learning》-中英文版分享
机器学习核心知识手册-《机器学习综述》书籍分享
图神经网络20年新书-《深度学习图神经网络模型》免费pdf分享
Hands-On Machine Learning with Scikit-Learn &TensorFlow-中英文版分享
中文自然语言处理百万级语料库-ChineseSemanticKB免费下载
欧洲计算机视觉国际会议ECCR20最新论文整理分享
CMU低资源NLP训练营-自然语言任务综述
语料库语言学:方法论指南
2020年免费新书-《自然语言处理中词向量表示算法概述》分享
举例来说,在自编码器中对数据样本编码成特征再解码重构,这里认为重构的效果比较好则说明模型学到了比较好的特征表达,而重构的效果通过pixel label的loss来衡量。自监督学习属于无监督学习范式的一种,特点是不需要人工标注的类别标签信息,直接利用数据本身作为监督信息,来学习样本数据的特征表达,并用于下游任务。Contrastive Learning(对比式方法)这类方法则是通过将数据分别与正例样本和负例样本在特征空间进行对比,来学习样本的特征表示。
通过图形互信息最大化(WWW)进行图形表示
学习
作者:彭震,黄文兵,罗敏楠,郑庆华,于蓉,徐挺阳,黄俊洲
InfoGraph:通过互信息最大化(ICLR)进行无监督和半监督的图形级表示
学习
作者:孙凡云,乔丹·霍夫曼,维卡斯·维尔玛,唐健
2019年
深度图InfoMax(ICLR)
作者:PetarVeličković,William Fedus,William L. Hamilton,PietroLiò,Yoshua Bengio和R Devon Hjelm
GNN预训练
2020年
GCC:用于图形神经网络预训练(KDD)的图形对比编码
作者:邱介中,陈其斌,董玉晓,张静,杨红霞,丁铭,王宽三,唐洁
具有增强功能的图
对比学习
(NeurIPS)
作者:尤宇宁,陈天龙,隋永
Pytorch闪电登录和默认收益(多GPU训练,混合精度等)
在GPU装置上收集负片以模拟更大的批次大小(尽管梯度不会在GPU上流动)
使用加快数据加载速度(以使用更多GPU内存为代价)
SimCLR多分辨率农作物
SimCLR +
预训练后线性评估(通常得出1-1.5%的准确度点)
在线线性评估
预训练后线性评估
Resnet18
SimCLR
Imagenet-100
70.74
71.02
Resnet18
SimCLR
Imagenet-100
:check_mark_button:
要说到
对比学习
(
Contrastive
L
ear
ning
),首先要从自监督
学习
开始讲起。自监督
学习
属于无监督
学习
范式的一种,特点是不需要人工标注的类别标签信息,直接利用数据本身作为监督信息,来
学习
样本数据的特征表达,并用于下游任务。
当前自监督
学习
可以被大致分为两类:
Generative L
ear
ning
vs
Contrastive
L
ear
ning
> python main_mlp.py --help
usage: main_mlp.py
[-h] [--sphere-r SPHERE_R] [--box-min BOX_MIN] [--box-max BOX_MAX]
[--sphere-norm] [--box-norm] [--only-supervised] [--only-unsupervised]
[--more-unsupervised MORE_UNSUPERVISED] [--save-dir SAVE_DIR]
[--num-eval-batches NUM
Contrastive
L
ear
ning
of Class-agnostic Activation Map for Weakly Supervised Object Localization and Semantic Segmentation
由于前景对象的语义信息不同于背景对象,因此前景对象的表示分布(蓝色)远离背景(绿色)。外观相似或背景具有相似颜色/纹理的前景对象在特征空间中也有相似的表示。基于这些观察结果,可以形成正对和负对的
对比学习
。利用tSNE[34]来降低特征的维数。1)前景的语义信息通常与背