Fermatresearch 在 Replicate 上的 Sdxl‑Controlnet‑Lora 模型初学者指南

Source: Dev.to

这是一篇关于 AI 模型 Sdxl‑Controlnet‑Lora 的简化指南，该模型由 Fermatresearch 维护。

sdxl-controlnet-lora 为 SDXL 添加了 ControlNet 和 LoRA 功能，使得通过边缘检测和自定义训练可以对图像生成进行精确控制。

Model overview

该实现基于 Stability AI 的 SDXL 架构，加入了 Canny 边缘检测以实现受控的图像生成。它的功能与模型如 sdxl‑controlnet‑lora‑small 和 sdxl‑multi‑controlnet‑lora 共享，同时增加了对 img2img 处理和 LoRA 模型集成的支持。

Model inputs and outputs

Inputs

• Image – 用于边缘检测或 img2img 处理的基础图像。
• Prompt – 对期望输出的文字描述。
• LoRA Weights – 来自 Replicate 的自定义训练模型权重。
• Condition Scale – 边缘检测的控制强度（0‑2）。
• Guidance Scale – Classifier‑free 指导强度（1‑50）。
• Refinement Options – 用于细化基础图像的设置。

Outputs

• Image Array – 符合提示和控制参数的生成图像数组。

Capabilities

该系统在受控图像生成方面表现出色，用户可以通过边缘图引导输出，调节 LoRA 权重的影响，并在保持风格一致性的同时执行 img2img 转换。

Read the full guide to Sdxl‑Controlnet‑Lora