Stable Diffusion AI 生图加速新利器! 透过 LCM LoRA 大幅提升生图速度

Stable Diffusion 让用户只要有 4G VRAM 以上的显卡,都能在本地机器上使用 AI 绘图,但显卡如果不够高阶,图片产生速度就会受影响,因此一直有人在研究如何缩短图片产生所耗费的时间。 Latent Consistency Models (LCM) 是一款基于 Stable Diffusion 模型所调整出来的新模型,能够以更少的步数产生图片,还有人以此制作出 Stable Diffusion V1.5 跟 Stable Diffusion XL (SDXL) 能用的LoRA模型,以下笔者将示范如何使用 LCM LoRA+ LCM Sampler 来加速图片产生。
LCM Lora 简易使用教程
设置 LCM LoRA 跟 LCM Sampler
首先下载对应 Stable Diffusion 版本的 LCM LoRA 模型,下载 Stable Diffusion V1.5 对应 LCM LoRA, 下载 SDXL 对应 LCM LoRA。 由于文件名相同,如果 SD 1.5 和 SDXL 两个模型都会使用,可以把 LoRA 档名加上 SD15 跟 SDXL 方便辨识。 下载后找到 Stable Diffusion WebUI 所在文件夹,依序开启 models – Lora 文件夹,再把 LoRA 模型放到里面。

接着到sd-webui-lcm-sampler GitHub页面,点击Download raw file下载 lcm-sampler.py。

开启 Stable Diffusion WebUI 所在文件夹,找到 scripts 文件夹,把刚刚下载的 lcm-sampler.py 放到这里。

开启 Stable Diffusion WebUI,点击下方的 Lora 分页,选取刚刚加入的 LCM LoRA。 笔者测试使用的 Stable Diffusion WebUI 版本是 v1.6.0,版本不同画面可能有所差异。

回到Generation标签,Sampling method选择LCM Test,把Sampling steps改为4(或4-8之间的数值),然后CFG Scale输入1(或1-2之间的数值)。

LCM LoRA 性能测试
笔者测试采用的硬件规格如下:
处理器 | AMD Ryzen 5 5600X (关闭 PBO) |
---|---|
主板 | ASUS PRIME B550M-K/CSM |
内存 | XPG SPECTRIX D60G DDR4 RGB 3000 8GB x2 (OC 3200) |
显示卡 | ZOTAC GAMING GeForce GTX 1650 Low Profile |
储存 | ADATA Legend 710 |
使用 SD V1.5 模型,在 Sampling steps 20、Sampling method DPM++ 2M Karras、CFG Scale 7 预设值下产生 512×512 的图,提示词 (Prompt) 使用「card template, card template, card game art frame, bright masterpiece artstation. 8 k, sharp high quality artwork in style of jose daniel cabrera pena and greg rutkowski, concept art by tooth wu, blizzard warcraft artwork, hearthstone card game artwork」,未使用 LCM LoRA + LCM Sampler 前耗时1分29.5秒。

加载 LCM LoRA 跟 LCM Sampler,Sampling steps 设 4、CFG Scale 设 1,只要 22 秒。

笔者测试LCM loRA除了一般的Sable Diffusion WebUI,也能用在AMD Radeon显卡用的StableDiffusion WebUIDirectML版本上(因使用RX 6400所以只验证SD v1.5模型),若觉得出图太慢不妨试试看。
