ComfyUI 的 InstantID 在进行面部交换时遇到的一个常见障碍在于，无论与用户输入的差异如何，它都倾向于保持原始参考图像的组成。
例如，如果用户在请求全身描绘时上传头像，则令人沮丧的是，输出仍然只是头像，而忽略了预期的构图。
当尝试从半身照片生成全身图像时，也会出现此问题；结果顽固地保留了半身镜头。
为了解决这个限制，我设计了一种创新的工作流程，可以将参考图像中的脸部调整为任何照片，从而将我们从原始构图的限制中解放出来。
这种方法显着增强了创作灵活性，并确保生成的图像更符合用户的实际要求。
让我们深入研究一下这个改进后的工作流程的实现细节。
对于那些喜欢通过视频内容深入研究稳定扩散的人，我们邀请您查看补充本文的引人入胜的视频教程：
表中的内容
构建基本工作流程
最初，使用 SDXL 创建肖像照片。这张照片作为换脸过程的基础，还可以使用中途的图像或您自己的照片，提供多种选择。
生成肖像照片
1️⃣准备：确保“效率节点”在您的 ComfyUI Manager 中处于活动状态。
2️⃣设置 SDXL 节点：
- 激活 SDXL 的“效率加载器”以及“KSampler”。
- 链接这些节点，选择一个检查点，然后输入提示。
- 执行基本工作流程以生成肖像照片。
换脸操作
3️⃣加载所需节点：
- 确认您的 ComfyUI Manager 中已安装 Impact Pack 节点包。
- 集成 FaceDetailer，该节点擅长通过自动识别和细化面部区域来重新绘制面部。
- 加入人脸区域检测和人脸分割节点，提高人脸特征处理的准确性。
- 连接这些节点并使用“队列提示”按钮验证它们的链接。
如需其他指导，请参阅我之前关于使用 LoRA 和 FaceDetailer 执行类似面部交换任务的教程。
在 ComfyUI 中使用 LoRA 像专业人士一样交换面孔
集成和配置 InstantID 以进行面部交换
第 1 步：安装和配置 InstantID
1️⃣安装 InstantID：确保 cubiq 开发的 InstantID 节点安装在您的 ComfyUI Manager 中。
2️⃣配置节点：
- 选择节点并将其添加
Apply InstantID到您的设置中。 - 连接模型输入端口
InstantID并合并所需模型。 - 包括
insightface用于增强面部特征识别的模型。 - 附加
ControlNet节点以支持 InstantID 功能。
第 2 步：准备参考图像
3️⃣上传参考图片：
- 选择合适的参考图像，例如 Instagram 上的人工智能影响者的脸，用于肖像中的面部替换。
- 确保图像正确链接到节点设置。
步骤3：调整参数和连接
4️⃣连接节点：
- 将模型和提示从 SDXL Tuple 节点链接到 InstantID。
5️⃣连接输出端口：
- 确认InstantID的输出端口与FaceDetailer的输入端口无缝连接。
启动换脸操作
6️⃣执行换脸：
- 在开始面部交换操作之前，确保所有连接均已准确设置。
- 仔细观察生成的图像。如果您发现任何过度拟合（即输出过于接近输入而没有进行所需的更改），请稍微调整配置。减少 cfg 以最大限度地减少过度拟合，并增加步骤数以细化转换过程。这些调整后再次生成图像。
将初始面部参考图像与交换后输出进行比较。如果感觉两幅图像之间的相似度不高，则可能表明需要进一步增强。
集成 IP 适配器通常是提高此类场景中相似性的战略举措。让我们继续将 IP 适配器添加到我们的工作流程中。
使用 IP 适配器增强相似性
第 1 步：安装和配置 IP 适配器
1️⃣选择 IP 适配器节点：
- 在 ComfyUI 中找到并选择“FaceID”IP 适配器。
- 如果不可用，请验证是否安装了“ComfyUI IP-Adapter Plus”并更新到最新版本。
2️⃣配置 IP 适配器 FaceID 模型：
- 选择“FaceID PLUS V2”预设，模型将根据您的选择（SD1.5 或 SDXL）自动配置。
3️⃣连接 IP 适配器：
- 建立从主 IP 适配器节点到 Unified Loader 的连接。
- 将 Unified Loader 的模型输入链接到 SDXL Tuple 的模型输出。
- 将 IP 适配器的模型输出连接到 InstantID 的模型输入。
- 此外，将图像输入端口直接连接到 InstantID 中使用的参考图像，或者连接到设计用于加载图像的专用节点。
第 2 步：执行、评估和优化面部交换
4️⃣运行换脸操作：
- 设置完成后，再次启动面部交换过程以观察 IP 适配器所做的增强。
- 仔细比较初始参考图像与新生成的面部交换图像，以评估相似性的改进。
5️⃣调整参数以最小化过度拟合：
- 如果您发现任何过度拟合，请微调设置。减少权重并减少 IP 适配器节点中的结束步骤数，以获得更自然的外观。
- 相反，如果调整后相似性似乎减少，则逐渐增加权重以恢复细节，而不会影响输出的真实性。
6️⃣进一步优化：
- 如果相似度仍然不符合您的期望，请进一步细化 InstantID 和 IP-Adapter 的权重设置以拨出所需的结果。
- 解决具体的细节问题，例如耳朵或前额外观异常。这些可以通过使用修复技术或通过调整 FaceDetailer 节点内专用于面部区域的参数来纠正。
