浅析扩散模型与图像生成【应用篇】(二十三)——Imagic_图像生成扩散模型最新

link之家

链接快照平台

输入网页链接，自动生成快照
标签化管理网页链接

23. Imagic: Text-Based Real Image Editing with Diffusion Models

该文提出一种基于文本的真实图像编辑方法，能够根据纯文本提示，实现复杂的图像编辑任务，如改变一个或多个物体的位姿和组成，并且保持其他特征不变。相比于其他文本-图像编辑工作，Imagic具备更丰富的编辑方式，并且能够更好的保留编辑对象原有的特征。下面先展示一波结果，秀一下肌肉。可以看到编辑的效果非常逼真，而且是对图像中目标物体直接进行编辑，而不是重新生成一个新的对象。
在这里插入图片描述
基于扩散模型的文本-图像编辑和生成的基础理论我这里就不再赘述了，不清楚的可以参考本博客该专栏下的其他文章。笼统点来讲，我们要把输入的文本描述转化为一个嵌入式向量，并将其作为一种条件信息引入到图像生成过程中，从而实现图像的编辑。本文提出的方法包含三个步骤：文本嵌入特征的优化，扩散模型的微调，以及特征插值与图像生成，如下图所示。
在这里插入图片描述
首先，输入的文本描述经过一个文本编码器得到一个目标文本特征 $\mathcal{L}(\mathbf{x},\mathbf{e},\theta)=\mathbb{E}_{t,\epsilon}\left[\left\|\boldsymbol{\epsilon}-f_{\theta}(\mathbf{x}_{t},t,\mathbf{e})\right\|_{2}^{2}\right]$ 运行PSMNet网络时遇到的问题及解决方案风华正茂盛: 博主您好为啥我最后的视差图结果非常的碎片化运行PSMNet网络时遇到的问题及解决方案风华正茂盛: 我也是，为什么啊运行PSMNet网络时遇到的问题及解决方案风华正茂盛: 以解决，还是看这个文章解决的，3.0以上的好像/出来是默认浮点数，在for循环里有过用了/，要像文章中说的改为//，就好了

推荐文章

稳重的煎饼果子 · Pyqt5系列(三)-基本界面组件之Button(1)_pyqt5 button-CSDN博客

11 月前

潇洒的大海 · SQL Server日期加减函数DATEDIFF与DATEADD用法分析_MsSql_脚本之家

1 年前

大方的香烟 · NCNN、OpenVino、 TensorRT、MediaPipe、ONNX，各种推理部署架构，到底哪家强？ - 知乎

1 年前

睿智的弓箭 · 17_NumPy数组ndarray中计算满足条件的元素的个数_ndarray 计数_饺子大人的博客-CSDN博客

2 年前

鼻子大的炒粉 · What causes SSLCertVerificationError, CERTIFICATE_VERIFY_FAIL when using Python on Windows? - Stack Overflow

2 年前