ControlNet是一种通过添加额外条件来控制扩散模型的神经网络结构。简单来说,它可以作为一个插件运用在Stable Diffusion中,对生成图片产生影响,可以根据已有的图片更好地输出我们想要的图片。它的应用非常广泛,从识别物体的边缘、到人物的姿势、再到利用线稿生成图片等等。例如,小编想生成和已有的图片摆同样姿势的人物,那么利用ControlNet的openpose就可以实现。

1. 打开Stable Diffusion,点击Extensions→Available→Load from:

1.png

2. 加载出来下面的插件后,Ctrl+F查找ControlNet,选择sd-webui-controlnet和openpose-editor,点击install

2.png

3. 还是在Extensions目录下,查看Installed选项卡,可以看到我们新安装的sd-webui-controlnet和openpose-editor,点击Apply and restart UI

3.png

4. 重启页面后,回到txt2img的界面就会出现ControlNet插件了。和txt2img并排的选项卡也会出现OpenPose Editor

4.png

5. Hugging Face下载ControlNet的model,根据自己电脑的内存选择下载,小编选择了下载姿势模型:https://huggingface.co/lllyasviel/ControlNet/tree/main/models

5.png

6. 下载完成后,将文件放入ControlNet目录文件下:

6.png

7. 重启Stable Diffusion,就可以在ControlNet里选择下载好的模型,使用时旁边的Preprocessor也选择和模型对应的名称即可。

7.png

示例:

屏幕截图 2023-03-22 143824.png