ComfyUI

ComfyUI

comfyui插件,模块化的stable diffusion图形界面

Visit Site →

comfyui插件官网,模块化的stable diffusion图形界面

comfyui简介

ComfyUI 是一个基于节点工作流式的 Stable Diffusion 算法的另一种 WebUI。通过将stable diffusion的流程拆分成节点,实现了更加精准的工作流定制和完善的可复现性。生成图片时速度会比传统的WebUI更快,而且可以占用更少的显存。

「comfyui安装包及工作流」: 夸克网盘高速下载,注册送1TB空间

https://pan.quark.cn/s/1c846e5a7308

官方github链接:

https://github.com/comfyanonymous/ComfyUI

官方运用示例:

https://comfyanonymous.github.io/ComfyUI_examples/

ComfyUI作者Q&A -你为什么做这个? 我想了解稳定扩散的详细工作原理。我还想要一些干净而强大的东西,让我能够不受限制地尝试 SD。 -这是给谁的? 这适用于任何想要使用 SD 制作复杂工作流程或想要了解更多 SD 工作原理的人。该界面紧密遵循 SD 的工作原理,并且代码应该比其他 SD UI 更容易理解。

二、为什么要用 ComfyUI?ComfyUI 有什么优势

1、占用显存更少,与传统的 WebUI 相比同等大小的显存 ComfyUI 可以出更大的图,尤其现在比较小的显存用 WebUI 玩 SDXL 难度太大。这应该是目前 ComfyUI 迎来第二春的主要原因。

2、上限高,ComfyUI 更适合复杂长线的大型工作,可以把传统 WebUI 需要多步操作的流程整合在一个流程里面。

3、工作流可快速复用,ComfyUI 可以把使用过的工作流保存下来,下次使用相同的流程可以直接加载复用。

4、可玩性更高,每个节点都可以安装需要加载,连线流程式的玩法可以有更多的探索性。

当然相对于传统的 WebUI 主要劣势是上手难度有些高,ComfyUI 插件现在还是没有 WebUI 多

二、为什么需要 ComfyUI? 

作者编写 ComfyUI 代码的初衷是为了深入了解 stable diffusion 的工作原理,并希望拥有一个功能强大且简洁的工具,以便进行无限制的 stable diffusion 实验。
如果你也有兴趣深入了解 stable diffusion 的工作原理,并且在寻找一个工具来创建自己的生图流程,那么 ComfyUI 绝对是你最佳的选择。另外,使用 ComfyUI 最主要的原因是其对 SDXL 的优化更好,跑图的显存占用更低,速度更快。
可能很多人觉得很奇怪,A1111 不是已经很好了吗?为什么还要使用 ComfyUI 呢?那么我们接下来就讲讲 A1111 和 ComfyAI 的区别。
① 用户界面。A1111 的用户界面更贴近我们的使用习惯,对于每个设置,我们只需要进行选择或调整即可。例如当我们需要进行图生图操作时,只需要点击图生图标签,并将图片上传,然后设置参数即可,最后模型就会根据 A1111 内部设定流程完成整个生图过程。但 ComfyUI 不同,如果我们需要进行图生图操作,我们需要自己构建流程,自己考虑添加哪些模块(节点),以及这些节点之间如何连接等等,然后才设置参数,最后 ComfyUI 根据我们设定的流程来生成最后的图片。因此,如果你对 stable diffusion 一无所知,那么 A1111 是更适合你的选择,当你掌握了一定的 stable diffusion 运行机制后,ComfyUI 也将会是很不错的平替。
② 扩展支持。A1111 的扩展支持要强于 ComfyUI。在 github 搜索框输入 “ComfyUI”,只有22页的搜索结果,而输入 “stable diffusion webui”,结果足足有100页。说明支持 A1111的插件数量更多,意味着扩展功能更丰富,总体的能力越强。
③ 绘图速度。最近,之所以 ComfyUI 的知名度突然提高,主要归功于其对 SDXL 较好的支持。在 A1111 中,使用 SDXL 模型往往会占用大量内存,同时显存的占用也居高不下,从而导致图片的生成速度很慢。而 ComfyUI 却能在较低显存和内存占用的条件下以较快的速度完成相同的内容。对于 SD v1 版本,A1111 和 ComfyUI 的绘图速度看不出明显区别,但使用 SDXL 来绘图,ComfyUI 的速度差不多是 A1111 的两倍。因此,如果你想在低显存的情况下也能更好体验 SDXL,那么 ComfyUI 是我目前更推荐的选择。   

三、如何下载安装 ComfyUI

ComfyUI 项目网址:https://github.com/comfyanonymous/ComfyUI

Windows系统可以直接下载压缩包:https://github.com/comfyanonymous/ComfyUI/releases/download/latest/ComfyUI_windows_portable_nvidia_cu118_or_cpu.7z

然后解压安装包,运行相应bat文件即可。如果是Nvidia显卡run_nvidia_gpu.bat,如果使用CPU运行run_cpu.bat

其他系统的可以参考项目中的安装方法

四、复用 WebUI 的模型和插件

如果你之前安装过WebUI,尤其大多数同学估计都安装过秋葉大佬的整合包,就可以把extra_model_paths.yaml.example文件后缀.example去掉,然后更改base_path为秋葉大佬整合包的目录,这样就可以复用原先的模型和插件了。如果之前没用过WebUI,就需要下载模型到 \ComfyUI\models\checkpoints 目录中

五、下载SDXL 1.0 相关的模型文件

下载SDXL的相关模型文件:

Base模型:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/tree/main
Refiner模型:https://huggingface.co/stabilityai/stable-diffusion-xl-refiner-1.0/tree/main
VAE模型:https://huggingface.co/stabilityai/sdxl-vae/tree/main
LoRA模型:https://huggingface.co/stabilityai/stable-diffusion-xl-base-1.0/blob/main/sd_xl_offset_example-lora_1.0.safetensors

将基础模型和Refiner模型文件放到 \ComfyUI\models\checkpoints 目录下
VAE模型放到 \ComfyUI\models\vae 目录下
LoRA模型放到 \ComfyUI\models\loras 目录下

六、初步了解 ComfyUI 的节点操作和基本命令

双击 run_nvidia_gpu.bat 等待加载完成就可以自动打开工作界面。如果要保持最新,可以运行update/update_comfyui.bat进行更新。

1、ComfyUI 节点的基本操作

· 添加节点

再工作区右键 —>Add Node 就可以添加一个节点

· 查看所有节点

双击空白区域就可以查看所有节点的列表,并可以搜索相关的节点

· 选择多个节点

按住 Ctrl + 鼠标框选,可以选择多个节点。按住 SHIFT + 拖动,就可以同时移动它们。

· 为节点添加颜色

在节点上右键 —> Colors 就可以为不同的节点添加不同的颜色用于区分

2、ComfyUI 的节点连线