Stable Diffusion LoRA的应用
LoRA(Low-Rank Adaptation of Large Language Models,大语言模型的低阶适应),是微软的研究人员为了解决大语言模型微调而开发的一项技术,把它用在cross-attention layers(交叉关注层)能影响用文字生成图片的效果。可以把它理解为大模型中的一个小模型,或者说是一个插件,使用LoRA可以改变生成的图片为预设的风格。
进入网站 civitai.com
搜索LoRA,选择自己喜欢的风格下载。以Jim Lee (DC Comics / Marvel) Style LoRA为例,使用这个LoRA会生成DC动画或漫威风格的图片
下载完成后,将文件放在Lora的目录文件下
启动Stable Diffusion,点击“生成”按钮下左数第三个图标“show extra networks”,点击“Lora”选项卡,即可看到已下载的LoRA,选择后系统会自动填充到Prompt文本框里,出现 <lora:jimLeeDCComicsMarvel_offset:1>
示例: