MimicBrush: 模仿参考图像的Zeroshot图像编辑（AnyDoor升级版）
论文题目
使用参考模仿进行零样本图像编辑
一、简介
MimicBrush 产生的各种编辑结果如图1 所示。用户只需在源图像中指定要编辑的区域（即白色遮罩），并提供显示编辑区域预期效果的参考图像。模型自动捕获它们之间的语义对应关系，并通过网络执行完成编辑。
模仿画笔特点：
1）零样本局部区域组合和纹理迁移
2）不需要对参考图像进行区域分割
2. 背景
目前主流的图像编辑方法有以下几种：
1）修复方式，给定一张原始图像和需要编辑的区域遮罩，然后输入提示进行编辑，比如把猫改成狗，生成的图像无法控制细节，切割边缘很粗糙。
2）合成方法，给定原始图像和需要编辑区域的掩模，然后输入参考图像和参考图像的掩模。该方法需要对参考图像的前景进行分割，在实际应用中不太方便。
3）给定一张原始图像和需要编辑的区域掩模，然后输入参考图像并直接替换相应区域的内容。
3. 方法
2）为了实现模仿编辑，设计了具有双扩散模型的架构，并以自监督的方式进行训练。视频数据包含自然且一致的内容，并且还显示视觉变化，例如同一只狗的不同姿势。因此，从视频剪辑中随机选择两帧作为MimicBrush 的训练样本。其中一帧用作源图像，其中某些区域被遮盖掉。另一帧作为参考图像，帮助模型恢复被屏蔽的源图像。通过这种方式，MimicBrush 学习定位相应的视觉信息（例如，狗的脸）并将其重新绘制到源图像的遮罩区域中。为了确保重新绘制的部分和谐地融入源图像中，MimicBrush 还学习将视觉内容转换为相同的姿势、光照和视角。该训练过程建立在原始视频剪辑之上，没有文本或跟踪注释，并且可以轻松扩展到丰富的视频。
3）MimicBrush利用了U-Net的双分支，即模仿U-Net和参考U-Net，分别将源图像和参考图像作为输入。两个U-Net 在注意力层中共享它们的键和值，并通过从参考图像中寻找指示来掩盖源图像。还对两张图像进行了数据增强，以增加源图像和参考图像之间的差异。同时，从未遮挡的源图像中提取深度图，并将其作为可选条件添加到模拟的U-Net 中。在推理过程中，用户可以决定是否启用源图像的深度图来保留原始源图像中的对象。形状。
4）模型添加了可选的深度信息，并使用Depth Anything来预测未遮罩的源图像的深度图作为形状控制，这使得MimicBrush能够执行纹理传输。冻结深度模型并添加可训练的投影，将预测的深度图投影到深度潜在空间中。在训练过程中，设置0.5 的概率将深度模型的输入作为全零映射丢弃，因此用户可以在推理过程中将形状控制作为可选选项。
5）培训策略。为了充分发挥MimicBrush的跨图像模仿能力，进一步提出了挖掘更合适的训练样本的策略。考虑到目标是进行鲁棒甚至跨类别的模仿编辑，收集训练数据的概念可以概括为两个方面。 首先需要保证源图像和参考图像之间存在对应关系。其次，预计源图像和参考图像之间存在很大差异，这对于寻找视觉对应的鲁棒性至关重要。
一个。数据选择。在训练过程中，从同一视频中采样两个帧，并使用SSIM 作为视频帧之间相似性的指标。太相似或太小的帧对将被丢弃，以确保所选图像对包含两种语义。对应又涉及视觉变化。
b.数据增强。为了增加源图像和参考图像之间的差异，进行强数据增强。除了应用积极的颜色抖动、旋转、调整大小和翻转之外，还使用随机投影变换来模拟更强的变形。
d.数据扩展，考虑到收集高质量图像比视频容易得多，对静态图像应用增强来构造伪帧，并使用对象分割结果来掩盖源图像。分割掩模还提高了MimicBrush 的鲁棒性，以支持更多任意形状的掩模
4. 实验
1）效果可视化，效果真的很惊人
2）与其他方法的定量比较
3）用户评分结果
4）各训练策略的消融实验
5）应用效果多样
用户评论
MimicBrush是一款颠覆传统的图像编辑工具！它的操作直观、效果惊艳，让即使是摄影新手也能瞬间变身专业后期大神。
有13位网友表示赞同！
我在MimicBrush上尝试了AnyDoor的升级功能，惊喜不断，不仅细节处理精细到头发丝，还超级易于上手。
有5位网友表示赞同！
MimicBrush将AI的力量带入图像编辑，我可以用它轻松创造出令人震撼的艺术作品，不时会忘记自己是在用软件，仿佛在创作。
有9位网友表示赞同！
这款MimicBrush应用的界面设计简洁明了，即使是电脑小白也能快速掌握它的强大功能，而且效果立竿见影！
有13位网友表示赞同！
用了MimicBrush后，我再也不怕图像编辑问题了。它把AnyDoor的新技术完美融合，让我的图片更上一层楼，真的是创意无限。
有13位网友表示赞同！
MimicBrush在处理复杂的图像编辑任务时表现出色，尤其对于精细调整和细节强化，效果超乎想象的出色！
有16位网友表示赞同！
尝试了MimicBrush后，我发现它不仅适用于专业用户，对爱好者的帮助也非常大。轻松模仿参考图像，实现个性化创作。
有19位网友表示赞同！
用了AnyDoor升级版的MimicBrush，我觉得在移动设备上进行专业级别的图片编辑变得不再困难。效果震撼，操作流畅！
有18位网友表示赞同！
MimicBrush让我对图像优化有全新的认识。它的能力远超预期，在处理各种图像时都能达到完美的效果。
有5位网友表示赞同！
这款MimicBrush让我的艺术想象力得到了空前的释放，AnyDoor升级技术的应用使得每一张图片都变得更加生动和丰富。
有6位网友表示赞同！
在众多同类软件中，MimicBrush通过其出色的AI辅助功能脱颖而出。特别是AnyDoor升级版本，让用户体验更上一个台阶。
有17位网友表示赞同！
MimicBrush真的是设计师的法宝！它的易用性和高效性能让人惊喜不已，尤其是对于快速调整细节和色彩，效果超乎寻常。
有18位网友表示赞同！
这款软件的UI设计简洁且用户友好，即使是初学者也能迅速掌握基本的图像编辑技巧。AnyDoor升级版更是增添了不少便捷功能。
有5位网友表示赞同！
Purchasing MimicBrush was a great decision for my creative projects. The AnyDoor upgrade has significantly enhanced its capabilities, making it indispensable.
有16位网友表示赞同！
When I first tried MimicBrush with the AnyDoor upgrade, I was amazed by how intuitive and powerful it is. It opens up so many possibilities for artistic expression!
有13位网友表示赞同！
MimicBrush not only met but exceeded my expectations, especially after incorporating AnyDoor's advanced features. It has transformed my approach to image editing.
有7位网友表示赞同！
As an amateur artist, MimicBrush with the AnyDoor upgrade has been a game changer. The fine control it offers on images is something that simply elevates my work.
有12位网友表示赞同！
The combination of MimicBrush and AnyDoor's enhancements has not only improved my workflow but also pushed the boundaries of what I can create visually.
有8位网友表示赞同！