尝鲜AI画图：Stable-Diffusion

发表于 更新于 本文字数： 1.1k 阅读时长 ≈ 4 分钟
部署AI画图工具：Stable-Diffusion，并且在本地进行测试。

准备

  • 安装python3.10
  • 安装Git

注意

如果你是Windows用户，请不要使用最新的python3.11部署SD,因为stable-diffusion的依赖包pytorch不支持windows的python3.11,将系统环境变量的python改为3.10版本即可。

官方推荐使用3.10.6版本，但是我使用3.10.10版本也可以正常运行

SD-WebUI

项目地址：https://github.com/AUTOMATIC1111/stable-diffusion-webui

安装SD-WebUI

1
git clone [email protected]:AUTOMATIC1111/stable-diffusion-webui.git

运行SD-WebUI

1
2
cd stable-diffusion-webui
call webui-user.bat

等待程序自动创建所需环境，安装所有依赖包，注意：如果依赖包安装错误，请手动安装依赖包，或者检查你的网络环境。但是，这里提供一种方法解决因网络问题而无法安装。

打开SD-WebUI目录下的launch.py文件，将其中所有依赖包的github源稍加修改，如下：

1
2
3
4
# 依赖包修改前
    gfpgan_package = os.environ.get('GFPGAN_PACKAGE', "git+https://github.com/TencentARC/GFPGAN.git@8d2447a2d918f8eba5a4a01463fd48e45126a379")
# 依赖包修改后
    gfpgan_package = os.environ.get('GFPGAN_PACKAGE', "git+https://ghproxy.com/https://github.com/TencentARC/GFPGAN.git@8d2447a2d918f8eba5a4a01463fd48e45126a379")

即在github源前加上https://ghproxy.com/，然后重新运行webui.bat，等待程序自动创建所需环境，安装所有依赖包。

运行

直接运行webui.bat即可。

1
call webui-user.bat

程序会提示你打开一个本地网页，ctrl+鼠标左键点击即可打开网页。

一般，这个网址会是：http://127.0.0.1:7860/

模型

Stable-diffusion

如今Stable-Diffusion如火如荼，已有很多相关社区，这里推荐两个时下热门的社区：

  • CIVITAI

  • Hugging Face

我使用了两个热门的模型：

  • Anything4.5 anything-v4.5-pruned.safetensors

  • chilloutmix chilloutmix_NiPrunedFp32Fix.safetensors

Lora

LoRA: Low-Rank Adaptation of Large Language Models：大语言模型的低秩适应是微软研究人员为处理微调大语言模型的问题而引入的一项新技术。具有数十亿个参数的强大模型（例如 GPT-3）为了适应特定任务或领域而进行微调的成本非常高。LoRA 建议冻结预先训练的模型权重并注入可训练层 （秩分解矩阵） 在每个变压器块中.这大大减少了可训练参数的数量和 GPU 内存要求，因为不需要为大多数模型权重计算梯度。研究人员发现，通过专注于大语言模型的Transformer注意力块，LoRA的微调质量与完整模型微调相当，同时速度更快，需要的计算更少。

  • cuteGirlMix4_v10.safetensors

  • daili_v20.safetensors

  • japaneseDollLikeness_v10.safetensors

  • koreanDollLikeness_v10.safetensors

  • yaeMikoRealistic_yaemikoMixed.safetensors

  • etc.

Extensions

我使用了

  • 骨架分析插件ControlNet

  • Webui中文化插件

  • etc.

安装方法：打开SD-WebUI，在插件管理中，安装即可。

使用

通常是使用文生图,一般流程是：选择模型，输入正向提示词，反向提示词，选择采样器，调整采样步数，调整分辨率，提示词引导系数等，然后点击生成图片。或者使用图生图，与文生图类似，只是输入的是图片，这里不再赘述。
Stable-Diffusion还有很多功能，有兴趣的可以自行探索。

欣赏

我生成的图片

以下图片可能引起您的不适，请斟酌后点击展开

点击展开
赛博炼丹了属于是



网络分享的方案

以下图片可能引起您的不适，请斟酌后点击展开

点击展开

参考：

  • https://huggingface.co/blog/lora

  • https://github.com/Mikubill/sd-webui-controlnet#readme

  • https://github.com/AUTOMATIC1111/stable-diffusion-webui#readme