说明:标题中的Stable Diffusion XL(SDXL)在本文写作时(2023年4月)尚未发布(SDXL于2023年7月发布)。

本文基于我使用Stable Diffusion的经验,总结AI绘画的最佳实践,包括提示词技巧、参数调优、模型选择、工作流优化,以及常见问题的解决方法。

一、我的AI绘画经历

1. 从好奇到入坑

我接触AI绘画,是从好奇开始的。

  • 看到别人生成的图
  • 觉得很神奇
  • 自己也想试试
  • 然后就入坑了
  • 一发不可收拾

AI绘画,是一个神奇的领域。

2. 从新手到熟练

从新手到熟练,我花了几个月。

  • 刚开始生成的图很丑
  • 慢慢学会了写提示词
  • 慢慢学会了调参数
  • 慢慢学会了选模型
  • 现在能生成不错的图

学习AI绘画,是一个循序渐进的过程。

3. 踩过的坑

我踩过很多坑。

  • 提示词写不好
  • 参数调不对
  • 模型选不好
  • 工作流不高效
  • 出图质量不稳定

每个坑,都是一次学习。

二、提示词最佳实践

1. 提示词的结构

好的提示词,有清晰的结构。

我的提示词结构:

  • 主体:画什么
  • 细节:长什么样
  • 环境:在什么地方
  • 风格:什么风格
  • 质量:高质量要求

例子:

a beautiful girl, long hair, blue eyes, 
standing in a garden, flowers around, 
anime style, high quality, detailed

结构清晰,效果更好。

2. 正向提示词

正向提示词的技巧:

  • 描述要具体
  • 用形容词
  • 用风格词
  • 用质量词
  • 不要太冗长

具体的描述,生成的图更准确。

3. 负向提示词

负向提示词很重要。

常用的负向提示词:

low quality, blurry, bad anatomy, 
bad hands, extra fingers, missing fingers, 
watermark, text, signature
  • 排除不想要的东西
  • 提高出图质量
  • 减少畸形
  • 负向提示词很关键

负向提示词,是出图质量的保障。

4. 提示词的权重

提示词可以加权。

  • 用括号增加权重:(word:1.2)
  • 用方括号降低权重:[word:0.8]
  • 重要的词加权
  • 不重要的词降权
  • 合理使用权重

权重,能让重点更突出。

5. 提示词模板

建议建立自己的提示词模板。

  • 人物模板
  • 风景模板
  • 产品模板
  • 风格模板
  • 保存常用的模板

模板,能提高效率。

三、参数调优最佳实践

1. 采样步数

采样步数(Steps):

  • 一般20-30步
  • 太少:质量差
  • 太多:浪费时间,可能过曝
  • 25步是不错的选择
  • 根据模型调整

步数,影响质量和速度。

2. 采样器

采样器(Sampler):

  • Euler a:创意多,变化大
  • DPM++ 2M Karras:稳定,质量好
  • DDIM:稳定,适合精确控制
  • 推荐DPM++ 2M Karras
  • 多试几个,找到喜欢的

采样器,影响出图风格。

3. CFG Scale

CFG Scale:

  • 一般7-12
  • 太低:不按提示词
  • 太高:过曝,不自然
  • 7是常用值
  • 根据效果调整

CFG,控制提示词的遵从度。

4. 分辨率

分辨率:

  • 512x512:基础
  • 768x768:更好
  • 512x768:竖图
  • 768x512:横图
  • 太高可能出现重复元素

分辨率,影响构图和质量。

5. 种子

种子(Seed):

  • 随机种子:每次不同
  • 固定种子:可复现
  • 找到好的种子,保存下来
  • 用种子做微调
  • 种子是创作的起点

种子,是可复现的关键。

四、模型选择最佳实践

1. 基础模型

基础模型的选择:

  • Stable Diffusion 1.5:成熟,生态好
  • Stable Diffusion 2.1:更新,质量更好
  • 不同模型,风格不同
  • 多试几个
  • 找到适合自己的

基础模型,是出图的基础。

2. 大模型(Checkpoint)

大模型的选择:

  • 写实风格:Realistic Vision
  • 动漫风格:Anything、Counterfeit
  • 国风:GuoFeng
  • 通用:Deliberate
  • 根据需要选择

大模型,决定了基本风格。

3. LoRA

LoRA的使用:

  • LoRA是小模型
  • 可以叠加在大模型上
  • 特定人物、特定风格
  • 权重一般0.6-0.8
  • 不要叠加太多

LoRA,是风格的微调。

4. VAE

VAE的选择:

  • VAE影响颜色
  • 有些模型自带VAE
  • 有些需要单独加载
  • 推荐kl-f8-anime2
  • 颜色更鲜艳

VAE,影响色彩表现。

5. 模型管理

模型管理:

  • 模型文件很大
  • 分类存放
  • 定期清理不用的
  • 记录每个模型的特点
  • 建立模型库

好的管理,提高效率。

五、工作流最佳实践

1. 从草图开始

我的工作流第一步:从草图开始。

  • 先用低分辨率出图
  • 快速迭代
  • 找到满意的构图
  • 再高清修复
  • 不要一开始就高清

快速迭代,是高效的关键。

2. 高清修复

高清修复(Hires. fix):

  • 先低分辨率出图
  • 再放大
  • 重绘幅度0.3-0.5
  • 放大2倍
  • 质量提升明显

高清修复,是质量的保障。

3. 图生图

图生图(img2img):

  • 基于已有图修改
  • 重绘幅度0.3-0.7
  • 可以改风格
  • 可以改细节
  • 可以扩展画面

图生图,是创作的利器。

4. ControlNet

ControlNet的使用:

  • 控制构图
  • 控制姿势
  • 控制深度
  • 控制边缘
  • 让生成更可控

ControlNet,是控制力的保障。

5. 批量处理

批量处理:

  • 一次生成多张
  • 挑选最好的
  • 再精修
  • 提高效率
  • 不要一张一张等

批量处理,提高效率。

六、常见问题及解决

1. 人物畸形

问题一:人物畸形。

  • 手多指
  • 脸变形
  • 身体比例不对

解决方法:

  • 用负向提示词排除
  • 用ControlNet控制姿势
  • 用修复工具修手
  • 选好的模型

人物畸形,是AI绘画的老大难。

2. 画面重复

问题二:画面重复。

  • 多个头
  • 多个身体
  • 重复的元素

解决方法:

  • 降低分辨率
  • 用高清修复
  • 调整提示词
  • 换采样器

画面重复,是高分辨率常见问题。

3. 颜色不对

问题三:颜色不对。

  • 颜色暗淡
  • 颜色偏差
  • 过曝

解决方法:

  • 换VAE
  • 调整CFG
  • 调整提示词
  • 后期调色

颜色,影响整体效果。

4. 出图慢

问题四:出图慢。

  • 生成一张要很久
  • 批量生成更慢

解决方法:

  • 降低步数
  • 降低分辨率
  • 用更快的采样器
  • 升级显卡

速度,影响体验。

5. 显存不足

问题五:显存不足。

  • 爆显存
  • 生成失败

解决方法:

  • 降低分辨率
  • 用--medvram参数
  • 用xformers
  • 关闭其他程序

显存,是AI绘画的瓶颈。

七、进阶技巧

1. 提示词矩阵

进阶技巧一:提示词矩阵。

  • 同时测试多个提示词
  • 用X/Y/Z Plot
  • 对比效果
  • 找到最佳组合
  • 提高调试效率

提示词矩阵,是调试利器。

2. 风格迁移

进阶技巧二:风格迁移。

  • 用图生图
  • 改变风格
  • 保留构图
  • 重绘幅度0.5-0.7
  • 实现风格迁移

风格迁移,很有趣。

3. 局部重绘

进阶技巧三:局部重绘。

  • 只改一部分
  • 用inpaint
  • 蒙版要准确
  • 重绘幅度0.5-0.8
  • 精修细节

局部重绘,是精修的利器。

4. 多模型融合

进阶技巧四:多模型融合。

  • 用Checkpoint Merger
  • 融合多个模型
  • 得到新的风格
  • 调整融合比例
  • 创造独特风格

模型融合,是个性化的方法。

5. 自动化工作流

进阶技巧五:自动化工作流。

  • 用脚本批量处理
  • 用API调用
  • 自动化流程
  • 提高效率
  • 适合批量生产

自动化,是效率的终极武器。

八、我的经验总结

1. 多练

第一个经验:多练。

  • 熟能生巧
  • 多生成
  • 多尝试
  • 多总结
  • 练得多了,自然就会了

练习,是最好的老师。

2. 多看

第二个经验:多看。

  • 看别人的作品
  • 看别人的提示词
  • 看别人的参数
  • 学习别人的经验
  • 站在巨人的肩膀上

多看,能快速进步。

3. 多记

第三个经验:多记。

  • 记录好的提示词
  • 记录好的参数
  • 记录好的模型
  • 记录踩过的坑
  • 建立自己的知识库

记录,是积累的开始。

4. 有耐心

第四个经验:有耐心。

  • AI绘画需要耐心
  • 不是每次都能出好图
  • 要不断调试
  • 要不断尝试
  • 好图是调出来的

耐心,是出好图的关键。

5. 有创意

第五个经验:有创意。

  • AI是工具
  • 创意是核心
  • 不要只靠AI
  • 要有自己的想法
  • 创意才是灵魂

创意,是AI绘画的灵魂。

九、写在最后

Stable Diffusion最佳实践,我总结了这些经验。

提示词要结构清晰,参数要合理调优,模型要选对,工作流要高效。从草图开始,高清修复,图生图,ControlNet,批量处理。常见问题有解决方法,进阶技巧能提升水平。多练、多看、多记、有耐心、有创意,你也能成为AI绘画高手。

2023年了,AI绘画发展很快,新模型、新工具、新技巧层出不穷。保持学习,保持练习,保持创意,你就能跟上这个快速发展的领域。

最后,用一句话总结:"AI绘画,技术是基础,创意是灵魂。多练多看多记,有耐心有创意,你也能生成好图。"

希望我的经验,能帮到你。