添加链接
link之家
链接快照平台
  • 输入网页链接,自动生成快照
  • 标签化管理网页链接

Cho J., Mall U., Bala K. and Hariharan B. PiCIE: unsupervised semantic segmentation using invariance and equivariance in clustering. In IEEE Conference on Computer Vsion and Pattern Recognition (CVPR), 2021.

利用聚类和 invariance to photometric transformations and equivariance to geometric transformations 来无监督地语义分割.

  • $x_i \in \mathbb{R}^{CHW}, i=1,2,\cdots, n $, unlabeled images;
  • \(f_{\theta}: \mathbb{R}^{CHW} \rightarrow \mathbb{R}^{DHW}\) , 将图片 \(x\) 映射为后续所用的特征;
  • \(y_{i}[p]\) , 为 \(x_{i}[p]\) 所对应的(预测)标签;
  • \(\mu_k \in \mathbb{R}^D, k=1,2,\cdots, K\) , 为 \(K\) 个聚类中心;
  • \(P\) , photometric 变换, 满足 \(x, P(x)\) 的语义分割是一致的;
  • \(G\) , geometric 变换, 满足 \(G(x)\) 的语义分割为 \(G(y)\) ;
  • 采样样本 \(x\) , photometric 变换 \(P^{(1)}, P^{(2)}\) , geometric 变换 \(G\) ;

    得到特征:

    \[z^{(1)} \leftarrow G (f_{\theta}(P^{(1)}(x))), \\ z^{(2)} \leftarrow f_{\theta}(G(P^{(1)}(x))); \\

    通过 K-means 计算类别中心, 并为 \(z_i[p]\) 指定标签:

    \[\mu^{(1)}, y^{(1)} \leftarrow \text{KMeans}(\{z_i^{(1)}[p]: i \in [n], p \in [HW] \}), \\ \mu^{(2)}, y^{(2)} \leftarrow \text{KMeans}(\{z_i^{(2)}[p]: i \in [n], p \in [HW] \}); \\

    我们希望特征 \(z[p]\) 靠近所指定的类别, 即需要关于 \(\theta\) 最小化如下损失:

    \[\mathcal{L}_{within} = \sum_{i, p} \mathcal{L}_{clust}(z_{i}^{(1)}[p], y_{i}^{(1)}[p], \mu^{(1)}) + \mathcal{L}_{clust}(z_{i}^{(2)}[p], y_{i}^{(2)}[p], \mu^{(2)}), \]

    其中

    \[\mathcal{L}_{clust}(z_i[p], y_i[p], \mu) := -\log \frac{\exp(-d(z_i[p], \mu_{ip}))}{\sum_{k} \exp(-d(z_i[p], \mu_{k}))}, \]

    以及 \(d(\cdot, \cdot)\) 为 cosine similarity;

    但是注意到, 即便 \(z\) 中的各个元素都靠近了各自的聚类中心, 我们没法保证聚类是按照 '语义' 来分割的, 为此, 我们引入 Invariance 和 Equivariance:

    \[\mathcal{L}_{cross} = \sum_{i, p} \mathcal{L}_{clust}(z_{i}^{(1)}[p], y_{i}^{(2)}[p], \mu^{(2)}) + \mathcal{L}_{clust}(z_{i}^{(2)}[p], y_{i}^{(1)}[p], \mu^{(1)}), \]

    即采用了 photometric 和 geometric 变换后的特征保持语义分割上的一致.

    [ official ]