controlnet通过引入边缘图、深度图、人体关键点等条件输入，精准引导stable diffusion生成过程，解决人物姿势歪斜、构图失衡等问题；其核心是在unet中插入可训练旁路分支，融合空间约束信息，支持多单元协同控制。
☞☞☞AI 智能聊天, 问答助手, AI 智能搜索, 免费无限量使用 DeepSeek R1 模型☜☜☜
如果您在使用 Stable Diffusion 生成图像时发现人物姿势歪斜、构图失衡或肢体结构异常，则可能是缺乏对空间布局与姿态的显式约束。ControlNet 是一种专为解决此类问题设计的神经网络结构，它通过引入额外的条件输入（如边缘图、深度图、人体关键点等）来精确引导扩散过程。以下是实现构图与姿势精准控制的具体方法：
一、理解 ControlNet 的工作原理
ControlNet 在 Stable Diffusion 的 UNet 结构中插入可训练的“旁路分支”，该分支接收预处理后的控制图（例如 OpenPose 输出的关键点热图），并将空间约束信息逐层注入主扩散路径。它不替代原有模型，而是作为条件控制器协同运行，确保生成结果严格遵循输入控制信号的几何结构。
二、安装并加载 ControlNet 扩展
该方法依赖于 WebUI 环境下的 ControlNet 插件支持，需确保基础环境已配置 Stable Diffusion WebUI 及对应版本的 PyTorch。
1、打开 WebUI 扩展页面，点击“从 URL 安装”选项卡。
2、粘贴官方 ControlNet 插件仓库地址：https://github.com/Mikubill/sd-webui-controlnet，点击“安装”按钮。
3、重启 WebUI 后，在文生图界面底部确认出现“ControlNet”标签页，且右侧下拉菜单中可选择多种预处理器与模型。
三、使用 OpenPose 控制人物姿势
OpenPose 模型能从参考图像或手绘草图中提取 18 个关键人体关节点坐标，生成骨架热图作为 ControlNet 输入，从而锁定生成图像中人物的姿态方向与肢体角度。
1、在 ControlNet 面板中，将“启用”复选框勾选，并在“预处理器”下拉菜单中选择 openpose。
2、在“模型”下拉菜单中选择匹配的权重文件，例如 control_sd15_openpose.pth（适用于 SD 1.5 主模型）。
3、上传一张含清晰人像的参考图，或点击“从图像生成”按钮自动提取当前提示词生成图的姿势结构。
4、在正向提示词中加入明确姿态描述，例如 standing straight, arms raised symmetrically，以增强语义与控制图的一致性。
四、使用 Canny 边缘图控制整体构图
Canny 边缘检测可将输入图像转换为线稿形式，保留主体轮廓与画面分区关系，使 ControlNet 能稳定复现原始构图比例、主体位置及景深层次。
1、在 ControlNet 面板中，“预处理器”选择 canny，“模型”选择 control_sd15_canny.pth。
2、上传构图明确的草图或照片，调整“低阈值”与“高阈值”滑块至边缘线条清晰但不过度断裂（典型值为 100 和 200）。
3、勾选“像素一致性”选项，确保生成图像严格对齐输入边缘图的空间分布。
4、在提示词中避免使用冲突构图描述，例如不同时写入 close-up 与 wide shot。
五、组合多 ControlNet 单元协同控制
单一控制图难以兼顾姿势、轮廓与深度等多维结构信息，WebUI 支持最多四个 ControlNet 单元并行运行，每个单元可加载不同预处理器与模型，实现分层约束。
1、点击 ControlNet 面板右上角“添加单元”按钮，新增第二个 ControlNet 区域。
2、第一个单元设置为 openpose 控制姿势，第二个单元设置为 depth 控制前后景纵深关系。
3、为每个单元分别上传对应控制图：第一张为人像关键点图，第二张为同一视角的深度估计图（可用 MiDaS 生成）。
4、调节各单元的“控制权重”参数，例如姿势单元设为 1.2，深度单元设为 0.8，防止信号过载导致图像僵硬。
