以前一直在直播中吐槽说不建议大家用SDXL生态,即便已经出来了Turbo,即便出了SDXLLighting等等周边但是我们最最喜欢用的controlnet还是补全,即便是现在也不算完全意义的全,但是最起码我们今天呢能够带来第一个期待已久的tile模型,和隐藏款的QRmonsterXL(小声使用,别人还不知道)。为什么不介绍1.9更新?并没有大的改动
引入新的 Tile V2,通过大幅改进的训练数据集和更广泛的训练步骤进行增强。
- Tile V2 现在可以自动识别更广泛的对象,而无需显式提示。
-对颜色偏移问题进行了重大改进。如果仍然看到明显的偏移量,这是正常的,只需添加提示或使用颜色修复节点即可。
-控制强度更强,在某些条件下可以替代canny+openpose。
如果遇到 t2i 或 i2i 的边缘光晕问题,尤其是 i2i,请确保预处理为 controlnet 图像提供足够的模糊。如果输出过于清晰,可能会导致“光晕”——边缘周围具有高对比度的明显形状。在这种情况下,请在将其发送到控制网之前应用一些模糊处理。如果输出太模糊,这可能是由于预处理过程中过度模糊,或者原始图片可能太小。
SDXL
0.1参数训练量为101亿 其中BASE模型35 亿 加REFINER模型66亿 SD的8倍???
0.2对Stable Diffusion原先的U-Net(XL Base U-Net 一共14个模块),VAE,CLIP Text Encoder三大件都做了改进。可以明显减少显存占用和计算量
0.3增加一个单独的基于Latent(潜在)的Refiner(炼制)模型,来提升图像的精细化程度。【新增:对Base模型生成的图像Latent特征进行精细化,其本质上是在做图生图的工作。】
0.4设计了很多训练Tricks(技巧)(这些Tricks都有很好的通用性和迁移性,能普惠其他的生成式模型),包括图像尺寸条件化策略,图像裁剪参数条件化以及多尺度训练等。
0.5先发布Stable Diffusion XL 0.9测试版本,基于用户使用体验和生成图片的情况,针对性增加数据集和使用RLHF技术优化迭代推出Stable Diffusion XL 1.0正式版。
0.6采样方法禁用DDIM (保留意见、非绝对),不需要开启CN,随着CN的支持,可以开启CN的XL版本。所有的环境需要都是XL的生态
0.7直接出1024分辨率图片 1024 * 1024 起步
以前测试的SDXL二维码效果