LoRA(Low-Rank Adaptation of Large Language Models,大语言模型的低阶适应),是微软的研究人员为了解决大语言模型微调而开发的一项技术,把它用在cross-attention layers(交叉关注层)能影响用文字生成图片的效果。可以把它理解为大模型中的一个小模型,或者说是一个插件,使用LoRA可以改变生成的图片为预设的风格。

  1. 进入网站 civitai.com

  2. 搜索LoRA,选择自己喜欢的风格下载。以Jim Lee (DC Comics / Marvel) Style LoRA为例,使用这个LoRA会生成DC动画或漫威风格的图片

    屏幕截图 2023-03-21 103352.png

  3. 下载完成后,将文件放在Lora的目录文件下

    屏幕截图 2023-03-21 110408.png

  4. 启动Stable Diffusion,点击“生成”按钮下左数第三个图标“show extra networks”,点击“Lora”选项卡,即可看到已下载的LoRA,选择后系统会自动填充到Prompt文本框里,出现 <lora:jimLeeDCComicsMarvel_offset:1>

    屏幕截图 2023-03-21 111515.png

屏幕截图 2023-03-21 111106.png

示例:

00016-1211468570.png