Stable Diffusion AI 生图加速新利器! 透过 LCM LoRA 大幅提升生图速度

Stable Diffusion AI 生图加速新利器! 通过 LCM LoRA 大幅提升生图速度

Stable Diffusion 让用户只要有 4G VRAM 以上的显卡,都能在本地机器上使用 AI 绘图,但显卡如果不够高阶,图片产生速度就会受影响,因此一直有人在研究如何缩短图片产生所耗费的时间。 Latent Consistency Models (LCM) 是一款基于 Stable Diffusion 模型所调整出来的新模型,能够以更少的步数产生图片,还有人以此制作出 Stable Diffusion V1.5 跟 Stable Diffusion XL (SDXL) 能用的LoRA模型,以下笔者将示范如何使用 LCM LoRA+ LCM Sampler 来加速图片产生。

LCM Lora 简易使用教程

设置 LCM LoRA 跟 LCM Sampler

首先下载对应 Stable Diffusion 版本的 LCM LoRA 模型,下载 Stable Diffusion V1.5 对应 LCM LoRA, 下载 SDXL 对应 LCM LoRA。 由于文件名相同,如果 SD 1.5 和 SDXL 两个模型都会使用,可以把 LoRA 档名加上 SD15 跟 SDXL 方便辨识。 下载后找到 Stable Diffusion WebUI 所在文件夹,依序开启 models – Lora 文件夹,再把 LoRA 模型放到里面。

Stable Diffusion AI 生图加速新利器! 透过 LCM LoRA 大幅提升生图速度

接着到sd-webui-lcm-sampler GitHub页面,点击Download raw file下载 lcm-sampler.py。

Stable Diffusion AI 生图加速新利器! 透过 LCM LoRA 大幅提升生图速度

开启 Stable Diffusion WebUI 所在文件夹,找到 scripts 文件夹,把刚刚下载的 lcm-sampler.py 放到这里。

Stable Diffusion AI 生图加速新利器! 透过 LCM LoRA 大幅提升生图速度

开启 Stable Diffusion WebUI,点击下方的 Lora 分页,选取刚刚加入的 LCM LoRA。 笔者测试使用的 Stable Diffusion WebUI 版本是 v1.6.0,版本不同画面可能有所差异。

Stable Diffusion AI 生图加速新利器! 透过 LCM LoRA 大幅提升生图速度

回到Generation标签,Sampling method选择LCM Test,把Sampling steps改为4(或4-8之间的数值),然后CFG Scale输入1(或1-2之间的数值)。

Stable Diffusion AI 生图加速新利器! 透过 LCM LoRA 大幅提升生图速度

LCM LoRA 性能测试

笔者测试采用的硬件规格如下:

处理器AMD Ryzen 5 5600X (关闭 PBO)
主板ASUS PRIME B550M-K/CSM
内存XPG SPECTRIX D60G DDR4 RGB 3000 8GB x2 (OC 3200)
显示卡ZOTAC GAMING GeForce GTX 1650 Low Profile
储存ADATA Legend 710

使用 SD V1.5 模型,在 Sampling steps 20、Sampling method DPM++ 2M Karras、CFG Scale 7 预设值下产生 512×512 的图,提示词 (Prompt) 使用「card template, card template, card game art frame, bright masterpiece artstation. 8 k, sharp high quality artwork in style of jose daniel cabrera pena and greg rutkowski, concept art by tooth wu, blizzard warcraft artwork, hearthstone card game artwork」,未使用 LCM LoRA + LCM Sampler 前耗时1分29.5秒。

Stable Diffusion AI 生图加速新利器! 透过 LCM LoRA 大幅提升生图速度

加载 LCM LoRA 跟 LCM Sampler,Sampling steps 设 4、CFG Scale 设 1,只要 22 秒。

Stable Diffusion AI 生图加速新利器! 透过 LCM LoRA 大幅提升生图速度

笔者测试LCM loRA除了一般的Sable Diffusion WebUI,也能用在AMD Radeon显卡用的StableDiffusion WebUIDirectML版本上(因使用RX 6400所以只验证SD v1.5模型),若觉得出图太慢不妨试试看。

(0)
打赏 微信扫一扫 微信扫一扫

相关推荐

发表回复

登录后才能评论