Stable Diffusion AI算图使用手册（4-1）：通过LoRA小模型收束角色特性

在看完了仅使用Checkpoint模型进行算图的范围后，我们接着看使用LoRA小模型收束算图范围的方式。

LoRA功能说明与安装

LoRA是Low-Rank Adaptation（低秩调整）的缩写，由于其技术与知识部分较为艰深，请容笔者略跳过不谈。至于它的主要功能，在于可以搭配现有的Checkpoint模型，并介入AI推论的运算过程，发挥控制生成画面内容的效果。

在Stable Diffusion的应用范围中，LoRA可以发挥控制人物特色、服装、指定角色、改变画面风格等效果。举个例子来说，Checkpoint就像是AI画家的「基本画功」，而LoRA则是要求AI画家「照这个风格」产生图片。

在现阶段教学中，笔者先介绍使用现成LoRA的方式，未来有机会或许可以制作训练LoRA模型的教学。

读者可以至CivitAI网站寻找现成LoRA模型档案，并下载存放至「stable-diffusion-webui」文件夹下的「\models\Lora」，并准备分辨率为450 x 675的PNG格式图档，将图档名称修改与模型相同并放在同一文件夹，如此一来就能在选择时看到预览图片。

▲ 在CivitAI网站首页右上角区域的筛选器，选择只显示LoRA，就可以找到许多有趣的LoRA模型档案。

$将LoRA小模型档案下载至「stable-diffusion-webui」文件夹下的「\models\Lora」，并准备分辨率为450 x 675的PNG格式图档放在同一文件夹。$ ▲ 将LoRA小模型档案下载至「stable-diffusion-webui」文件夹下的「\models\Lora」，并准备分辨率为450 x 675的PNG格式图文件放在同一文件夹。

▲ 如此一来便能在Stable Diffusion WebUI选择LoRA的界面看到预览图片。

我只算外芙

在这边笔者先展示如何用LoRA「锁定」画像中的人物角色。举例来说，当我们透过适合的提示词算出理想的图片风格后，可以再相同的提示词后方加上LoRA专属提示词，就能有效控制出现的角色。

输入提示词时，建议可以参考先前章节的分段原则，在输入万用提示词、画面特征之后，点击Show/hide extra networks按钮，并切换至Lora标签，如此一来便可以点击图标快速将LoRA专属的提示词贴至输入字段（利如：<lora：evangelion1995Style_v1：1>），接着便可以调整LoRA提示词的权重，并继续写入触发关键词、其他附加提示词。

在下方范例中，笔者使用GhostMix V1.1 Checkpoint模型，以及「Evangelion （1995） style LoRA」LoRA模型，可以看到使用LoRA与否对画面造成的影响，范例所使用的提示词如下。

提示词范例
正面提示词
（masterpiece， top quality， best quality， official art， beautiful and aesthetic：1.2），（1girl）， extreme detailed，colorful，（（solo）），
music stage， rock’n，roll band， singer
<lora：evangelion1995Style_v1：0.8>，（Soryo Asuka Langley）
负面提示词
(worst quality, low quality:2), monochrome, zombie,overexposure, watermark,text,bad anatomy,bad hand,extra hands,extra fingers,too many fingers,fused fingers,bad arm,distorted arm, extra arms,fused arms,extra legs,missing leg,disembodied leg,extra nipples, detached arm, liquid hand,inverted hand,disembodied limb, small breasts, loli, oversized head,extra body, completely nude, extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3), (blurry:2.0), horror, geometry, bad_ prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms:1.4), ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, extra legs ,(ng_deepnegative_v1_75t)

▲ 输入完提示词后，点击Show/hide extra networks按钮并切换至Lora标签，再点选想要使用的LoRA图标就能将它加入提示词字段。

正面提示词参考先前提到的分段原则。红线标示部分为控制角色的LoRA，给予0.8的权重。绿线标示角色名称，要输入这组关键词才会触发LoRA运作。 ▲ 正面提示词参考先前提到的分段原则。红线标示部分为控制角色的LoRA，给予0.8的权重。绿线标示角色名称，要输入这组关键词才会触发LoRA运作。

▲ 范例使用的设定如图所示，乱数种子为2297387859。

▲ 在没有输入提示词中第3行小模型指示的情况下，产生的角色充满随机性，她看起来有点像巡音流歌。

▲ 输入小模型指示后，能将角色锁定为《新世纪福音战士》中的明日香。（我婆真香~~）

混用多组LoRA的技巧

笔者接着示范透过2组不同的LoRA模型，指定图像中的角色为游戏《女神异闻录5》中的医生武见妙，并指定套用绘师副岛成纪的风格。

在范例中，笔者同样使用「GhostMix V1.1」Checkpoint模型，并搭配「Persona / Catherine （Soejima Shigenori） Style LoRA」、「Tae Takemi | Persona 5 等2组LoRA模型。

提示词的撰写概念与先前相同，但需要注意的是，在使用许多LoRA时将权重降低至0.6~0.8会有比较好的效果，使用过高的权重容易造成画面错乱，尤其在混用多组LoRA时状况更显著。不过根据笔者的经验，权重的设定会随搭配、混用不同Checkpoint模型与LoRA模型而有极大的差异，建议读者以0.8为基准，并以0.1为单位微调增减，反复尝试出适合的参数。

提示词范例
正面提示词
（masterpiece， top quality， best quality， official art， beautiful and aesthetic：1.2），（1girl）， extreme detailed，colorful，（（solo）），
steampunk city， china dress，（small breast），
<lora：taeTakemiPersona5_v10：0.8>，（Tae Takemi）， necklace， choker， <lora：personaCatherineSoejima_1：0.6>

负面提示词
（worst quality， low quality：2）， monochrome， zombie，overexposure， watermark，text，bad anatomy，bad hand，extra hands，extra fingers，too many fingers，fused fingers ,bad arm,distorted arm,extra arms,fused arms,extra legs,missing leg,disembodied leg,extra nipples, detached arm, liquid hand,inverted hand,disembodied limb, small breasts, loli, oversized head,extra body,completely nude, extra navel,easynegative,(hair between eyes),sketch, duplicate, ugly, huge eyes, text, logo, worst face, (bad and mutated hands:1.3), (blurry :2.0), horror, geometry, bad_prompt, (bad hands), (missing fingers), multiple limbs, bad anatomy, (interlocked fingers:1.2), Ugly Fingers, (extra digit and hands and fingers and legs and arms :1.4), ((2girl)), (deformed fingers:1.2), (long fingers:1.2),(bad-artist-anime), bad-artist, bad hand, extra legs ,(ng_deepnegative_v1_75t)

▲ 范例使用的设定如图所示，乱数种子为4228654550。

正面提示词参考先前提到的分段原则。红线标示部分为控制角色的LoRA，给予0.8的权重。绿线标示角色名称，要输入这组关键词才会触发LoRA运作。黄线标示角色服装特征。青线标示控制画风的LoRA，刻意将权重降低至0.6，以免造成图像错乱。 ▲ 正面提示词参考先前提到的分段原则。红线标示部分为控制角色的LoRA，给予0.8的权重。绿线标示角色名称，要输入这组关键词才会触发LoRA运作。黄线标示角色服装特征。青线标示控制画风的LoRA，刻意将权重降低至0.6，以免造成图像错乱。