在稳定扩散中使用 LoRA 的最佳方式

在之前的探索中,我踏上了训练 LoRA 模型的迷人旅程,该模型与好莱坞偶像斯嘉丽·约翰逊 (Scarlett Johansson) 非常相似。

通过专注于她的爆头照片,我的目标是让人工智能具备复杂学习她面部特征的能力,使其能够生成非常反映她外表的图像。

尽管在面部特征上实现了相似,但我在生成半身或全身镜头时遇到了障碍。不幸的是,将 LoRA 添加到这些提示中,导致图像偏离了斯嘉丽·约翰逊的本质。

让事情变得更加复杂的是,我对 SD1.5 基本模型的训练限制了我只能使用这个特定版本来生成图像。

为了应对这些挑战,我引入了 ADetailer 扩展,该工具可以解放经过训练的 LoRA 模型,使其能够利用任何基本模型来生成不同的照片风格。

ADetailer 的工作原理是从图像中分离出面部,利用 LoRA 生成的头像来实现无缝面部交换。

以下是用于换脸的三张原始图像:

应用斯嘉丽·约翰逊的 LoRA 模型进行换脸后的惊人结果:

这种转变令人印象深刻。让我们深入研究如何使用 ADetailer 和 LoRA 实现类似的结果。

对于那些喜欢通过视频内容深入研究稳定扩散的人,我们邀请您查看补充本文的引人入胜的视频教程:

LoRA + ADetailer 换脸:分步指南

使用 ADetailer 扩展和 LoRA 模型,通过简单的过程,踏上掌握面部交换艺术的旅程。

一、准备阶段

首先,请确保安装了 ADetailer 扩展。如果不熟悉该过程,请参阅我上一篇文章中的综合指南。

改善稳定扩散中的面部、手部和姿势

掌握 ADetailer 扩展

bootcamp.uxdesign.cc

二.上传和配置

进入A1111上的img2img界面,开始换脸操作:

  • 上传用于换脸的基础图像。
  • 选择任意基础型号;由于 ADetailer 的适应性,这里的选择是灵活的。
  • 将提示区域留空,让 ADetailer 管理复杂的换脸过程。

三.取样方法及步骤

  • 根据您的具体需求选择采样方法;每种方法都会对结果产生轻微影响。
  • 调整采样步骤以在细节丰富度和处理时间之间取得平衡。

四.图像调整及参数

  • 使用“三角尺”自动将图像尺寸设置为原始尺寸以确保真实性。
  • 根据喜好设置“CFG尺度”和“去噪强度”;这些参数不会影响 ADetailer 支持的面部交换效果。 “去噪强度”为 0 可以简化 ADetailer 配置。

V. 配置 ADetailer 扩展

  • 首先导航到界面上的 ADetailer 扩展部分。找到后,展开此部分以查看所有可用选项。
  • 通过启用 ADetailer 来激活它。这一点至关重要。此外,选择绕过 img2img 步骤的选项。这一战略举措确保修改专门应用于图像的面部区域,通过不改变图像的其他部分来显着提高过程的效率。
  • 为您的项目选择合适的 ADetailer 模型。这些模型(例如face_yolov8mface_yolov8n)旨在满足不同的需求和偏好。
  • 为了确保换脸完全符合您的意图,必须在提示部分指定您的 LoRA 模型的名称。这种包含保证了面部交换的准确性,因为系统将利用指定的 LoRA 模型来生成交换。

六.微调和生成

  • 首先访问“修复”选项卡。此部分允许您操纵“修复蒙版模糊”。模糊级别的温和增加是一种战略举措,可以将交换的脸部与原始图像更自然地融合,从而有效地最大程度地减少可能破坏视觉流的任何粗糙或明显的接缝。

  • 同样重要的参数是“Inpaint 去噪强度”。此设置对于确定原始面部区域修改的程度起着至关重要的作用。选择中等价值是一个明智的起点。从那里,您可以根据观察到的结果图像效果进行增量调整。平衡的方法是这里的关键;将去噪强度设置得太高可能会导致意外的扭曲,从而可能在此过程中使脸部变形。

七.多样化的基础模型应用

  • 启用“使用单独的检查点”可以选择与原始 LoRA 模型不同的基础模型,丰富换脸的可能性。
  • 将基础模型与 LoRA 模型训练的版本相匹配,以实现兼容性。

八.生成和细化脸部交换图像

完成 ADetailer 设置并点击“生成”开始面部交换过程。预览将显示指定用于面部交换的区域,允许进行调整以实现完美融合。

预览与调整

为了确保面部交换与您的视觉完美契合,可以通过两步过程来预览和调整交换区域。让我们深入探讨这个关键阶段:

1️⃣生成预览:单击“生成”按钮启动此过程。然后系统将根据您配置的设置处理图像。完成后,预览窗口将显示图像,并用一个独特的框突出显示面部交换区域。该视觉提示标记了指定用于面部交换的特定区域,为任何必要的调整提供了清晰的参考。

2️⃣调整换脸区域的大小:有时,最初勾画的换脸区域可能与您的期望不完全一致,无论是太大还是太小。调整变得简单直观。通过展开“蒙版预处理”部分,您会发现一个专门用于修改面部交换区域尺寸的滑块。通过此功能,您可以微调交换区域的大小,增强自然融合并实现更和谐的结果。

优化换脸

查看最初的脸部交换结果后,您可能会注意到可以通过细化实现无缝混合的区域。增强交换脸部与原始图像融合的有效方法是通过在 ADetailer 设置中仔细调整“Inpaint 去噪强度”。

调节此参数可以显着平滑交换的脸部和原始背景之间的过渡,确保外观更加连贯和自然。

使用 txt2img 和 ADetailer 拓展创意视野

ADetailer 扩展的一个令人兴奋的方面是它在不同稳定扩散环境中的多功能性。值得注意的是,ADetailer 不仅限于 img2img 操作;它还将其功能扩展到 txt2img。

这种适应性意味着您可以完全根据文本描述构思图像,然后直接在 txt2img 框架内应用 ADetailer 进行面部交换。该方法保持了img2img直观有效的流程特点,同时拓宽了创意表达的范围。

结论

通过阅读本指南,您已经掌握了利用 ADetailer 和 LoRA 模型实现卓越面部交换的知识。这项技术不仅超越了 LoRA 模型的原始限制,而且还揭示了一系列创造性的可能性。感谢您与我一起完成本教程。

给TA打赏
共{{data.count}}人
人已打赏
AI新闻AI科普

使用 ComfyUI 进行高级面部交换

2024-5-19 18:58:48

AI新闻AI科普

为什么语音是新热门

2024-5-21 18:16:54

0 条回复 A文章作者 M管理员
    暂无讨论,说说你的看法吧
今日签到
有新私信 私信列表
搜索