Stable diffusion使用疑问

安装和使用模型

LoRA模型安装位置问题

Stable Diffusion中Lora和controlnet的具体区别

使用OpenPose editor打造个性化的人物姿势绘画

定制属于你的大模型！Dreambooth人物训练及安装教程

插件需要的包出现版本冲突解决

懒人提示词神器 sdweb-easy-prompt-selector 直接选提示词标签

秋叶一键安装包

Stable Diffusion和Checkpoint以及Lora模型是什么关系？

stable diffusion打造自己专属的LORA模型

角色模型训练极简教程 保姆式教学 有手就行

【ai画风训练】傻瓜式教学！

【ai绘画】定制属于你的大模型！Dreambooth人物训练及安装教程 手把手教学 小白易上手

【ai绘画】保姆式Lora模型训练器 无需安装 解压即用 再也不怕各种报错啦

【Stable Diffusion】LoRA炼丹 超详细教学·模型训练看这篇就够了

真人LORA训练全攻略！看这篇就够了 LORA模型 Stable diffusion 教程 真人模型

【LoRA训练课】新手炼丹入门-从软件安装到训练自己的第一个LoRA

真人LORA训练全攻略

60分钟速通LORA训练！绝对是你看过最好懂的AI绘画模型训练教程

Stable diffusion Lora模型训练教程，训练集&Tag处理要点

安装和使用模型

安装和使用模型

要使用Stable Diffusion模型，你需要将模型文件放入stable-diffusion-webui/models/Stable-diffusion目录中。模型文件通常有.ckpt或.safetensors的扩展名。

如果你没有任何模型，可以从Hugging Face下载。下载后，将模型文件放入stable-diffusion-webui/models/Stable-diffusion目录中。

LoRA模型安装位置问题

在Stable Diffution中，LoRA模型有两个安装位置：

一个是【X:\novelai-webui\models\Lora】文件夹，另一个是【X:\novelai-webui\extensions\

sd-webui-additional-networks\models\lora】文件夹。

两者有什么区别呢？

1.模型导入【X:\novelai-webui\models\Lora】文件夹后，模型是安装在Stable Diffution的本体中，进入webui后可以在（图1）中选择Lora模型，点击相应的Lora模型后，还能在Prompt区域自动生成模型唤醒词。

2.模型导入【X:\novelai-webui\extensions\

sd-webui-additional-networks\models\lora】文件夹后，模型是安装在Stable Diffution的插件中，必须安装了Lora插件才能看到（图2）。在插件中选择模型不能直接生成模型的唤醒词，但能更直观的调整模型权重。

最好两个位置都加上

Stable Diffusion中Lora和controlnet的具体区别

Stable Diffusion中的LoRA (Low-Rank Adaptation)和ControlNet都是用来增强和控制图像生成的技术,但它们的工作方式和用途有很大不同。让我来通俗易懂地解释一下它们的区别:

基本概念

LoRA:

LoRA是一种微调(fine-tuning)技术

它通过训练小型的神经网络来调整Stable Diffusion模型的权重

目的是让模型学习新的风格、概念或特定对象

ControlNet:

ControlNet是一种条件控制技术

它在生成过程中添加额外的控制信息

目的是精确控制生成图像的构图、姿势等细节

工作原理

LoRA:

在原始模型基础上添加小型可训练层

这些层学习如何调整模型权重以适应新任务

训练完成后,可以将LoRA与原始模型结合使用

ControlNet:

在Stable Diffusion模型中添加额外的控制通道

这些通道接收额外的输入信息(如边缘图、姿势等)

在生成过程中,模型会参考这些信息来控制输出

使用方式

LoRA:

需要先用特定数据集训练LoRA模型

训练完成后,在生成时加载LoRA权重

可以混合使用多个LoRA来组合不同效果

ControlNet:

直接在生成时使用,不需要额外训练

用户提供控制图像(如草图、姿势图等)

模型根据控制图像来生成符合要求的图片

主要用途

LoRA:

添加新的艺术风格

学习特定人物或物体的特征

改进模型在某些领域的表现

ControlNet:

精确控制图像构图

指定人物姿势或面部表情

根据线稿或草图生成图像

优缺点比较

LoRA:

优点:

训练速度快,所需资源少

可以轻松添加到现有模型

灵活性高,可以学习各种新概念

缺点:

需要训练数据和时间

效果可能不如完整的模型微调

可能引入偏差或不期望的效果

ControlNet:

优点:

提供精确的控制能力

不需要额外训练

可以与其他技术(如LoRA)结合使用

缺点:

需要用户提供高质量的控制输入

可能限制模型的创造性

不同类型的ControlNet可能需要单独使用

实际应用举例

LoRA:

训练一个"梵高风格"的LoRA,然后用它生成梵高风格的任何图像

创建一个特定角色(如动漫人物)的LoRA,用于生成该角色的各种图像

ControlNet:

使用人体姿势图作为控制输入,生成特定姿势的人物图像

用简单的线稿控制生成图像的整体布局和构图

总结:

LoRA主要用于教会模型新的概念或风格,而ControlNet则用于在生成过程中精确控制

使用OpenPose editor打造个性化的人物姿势绘画

查看原文

当我们欣赏一幅艺术作品时，人物的姿势往往是其中重要的一部分。OpenPose editor可以为您实现定制化的人物姿势绘画。通过提示词可以确定人物大概的状态，比如是站立还是坐姿，而controlnet的openpose模型可以进行人物姿势的微调，我们可以按照自己的需求，调节人物手的摆放、双脚并拢或者分开等等。下面我们就看看如何通过openpose editor来实现人物姿势的自定义编辑。

在此之前，你需要先安装stable diffusion webui，安装教程可以查看文章AI绘画安装教程

1 安装controlnet和openpose editor插件

1.1 controlnet插件安装

打开扩展（Extension）标签。

点击从网址安装（Install from URL）

在扩展的 git 仓库网址（URL for extension's git repository）处输入https://github.com/Mikubill/sd-webui-controlnet

点击安装（Install）

重启 WebUI

1.2 openpose editor插件安装

打开扩展（Extension）标签。

点击从网址安装（Install from URL）

在扩展的 git 仓库网址（URL for extension's git repository）处输入https://github.com/fkunn1326/openpose-editor.git

点击安装（Install）

重启 WebUI

在扩展标签下（extension）的installed可以看到openpose-editor和sd-webui-controlnet已安装完成。

2 openpose模型下载

首选：https://huggingface.co/lllyasviel/ControlNet/resolve/main/models/control_sd15_openpose.pth

百度云盘：https://pan.baidu.com/s/1HRctKvhnRAWm4gkRe6bH5g?pwd=krue

下载的后的模型文件放到stable diffusion根目录/extensions/sd-webui-controlnet/models，重启UI。

3 openpose editor插件的使用

3.1 人物骨架的创建

方法一：通过图片自动侦测骨架，然后对骨架进行二次调整。

在openpose editor标签页下点击detect from选择你想要侦测骨架的图片，系统自动根据图片大小确定比例和人物骨架。

2. 点击add直接添加默认人物骨架，可以通过多次点击add来添加多个人物骨架。

3.2 调整人物骨架

首先了解下人物骨架是怎么表达的人物的姿势的，先看下面这张图：

顶点表示的就是关节的位置，通过调节顶点的位置，修改人物整体的姿态。

推荐使用图片来侦测骨架，尽量保持骨架关节的比例大小不变，然后对关节进行调整，完成点击send to txt2img。

4 绘制个性化人物

在openpose editor完成骨架创建后，点击send to txt2img发送，这个时候你在txt2img标签栏下的controlnet下拉式菜单中可以找到你刚刚创建的人物骨架。

点击enable启用controlnet

Preprocessor保持none（重要），controlnet的model选择openpose

输入图片提示词和相关参数生成人物图片

定制属于你的大模型！Dreambooth人物训练及安装教程

Stable Diffusion和Checkpoint以及Lora模型是什么关系？

Checkpoint模型，又被称为底模或大模型，Checkpoint是经过训练的图片合集。它对绘画内容影响最大，需要下载与需求匹配的模型来绘图。在Stable Diffusion算法中，开发者会选择一个基础的Checkpoint模型，然后在该模型的基础上进行微调（Fine-tuning）。

Lora模型是一种Fine-tune扩散模型的训练技术。它是通过对标准的Checkpoint模型做微小的修改，可以比Checkpoint模型小10到100倍。Lora模型，是在基础模型上调整参数生成的更高质量的图片，也就是说，Lora模型是对Checkpoint模型进行微调的结果。

插件需要的包出现版本冲突解决

当插件需要的包版本冲突时候可以暂时删除冲突的插件

如sd-webui-roop与SadTaker需要的numpy版本冲突

懒人提示词神器 sdweb-easy-prompt-selector 直接选提示词标签

秋叶一键安装包

最好用的整合包！持续更新中~ 百度盘：https://pan.baidu.com/s/1MnyQH_gWgVdxU1S_Hjc5JQ 夸克盘：https://pan.quark.cn/s/3a32257a7323 求个关注加一键三连！ 不要直接在b站点开网盘链接！复制出去在浏览器里打开！否则会提取码错误！！ 不要用第三方网盘下载器，否则容易出现压缩包损坏 【sd-webui-aki-v4.2.7z】SHA256校验码：9d85a1eb6395395b056c177b71cbf1f1cfd65174 ====================================================== 本整合包基于开源项目Stable Diffusion WebUI制作，仅供学习AIGC相关技术。 任何使用整合包以及启动器，生成相关图片造成的后果以及责任都将由使用者承担。 ====================================================== 现在不搞这些关注私信提取码了 百度盘提取码 t724 拿了资源就给个关注吧，绝对是最良心的整合包，拿完不会用？肯定还得回来看我的教程 夸克盘提取码：284q 快速开始使用 → https://www.bilibili.com/read/cv22661198 新手最全教程 → https://www.bilibili.com/read/cv22159609 4月模型推荐 → https://www.bilibili.com/video/BV1em4y1z7Dg5-6月模型推荐 → https://www.bilibili.com/video/BV1iM4y1y7oA模型安装使用百科 → https://www.bilibili.com/read/cv21362202 安装遇到问题可以前往我的爱发电 →

https://afdian.net/a/akibanzu