AI绘画专栏之statble diffusion regional-prompter 分区上色 SD SDXL1.0 (十二)
原创AI绘画专栏之statble diffusion regional-prompter 分区上色 SD SDXL1.0 (十二)
原创
在AI绘画领域，stable diffusion模型在图像生成方面取得了显著的进步，然而，如何对画面的各个分区进行精细的上色仍然是一个挑战。为了解决这个问题，我们引入了regional-prompter，一种新的技术，可以帮助我们对AI绘画的各个区域进行有针对性的上色。
首先，让我们了解一下stable diffusion的工作原理。该模型通过在潜在空间中学习样例图像的分布来进行图像生成。在潜在空间中，图像可以看作是一系列潜在码的组合，这些潜在码之间互相独立且具有相同的分布。通过学习潜在码的分布，stable diffusion技术可以生成与样例图像相似的新图像。
然而，stable diffusion在处理图像上色时，往往会出现颜色分布不均的问题。为了解决这个问题，我们引入了regional-prompter。regional-prompter是一种基于深度学习的图像分割技术，它可以将图像分成不同的区域，并且对每个区域进行有针对性的上色。
在使用regional-prompter进行分区上色的过程中，我们可以采取以下步骤：
- 准备数据集：收集一组具有不同颜色分布的样例图像，并将它们进行标记和分类。这些图像将用于训练regional-prompter模型。
- 训练regional-prompter模型：使用标记和分类的样例图像训练regional-prompter模型，使其能够自动将图像分成不同的区域，并且对每个区域进行有针对性的上色。
- 输入图像：将需要上色的图像输入到regional-prompter模型中，模型会自动将其分成不同的区域，并对每个区域进行上色。
- 调整参数：如果对模型的上色结果不满意，可以调整模型的参数来优化结果。例如，可以调整颜色的饱和度、明度等参数来改善图像的质量和多样性。
- 优化细节：在得到初步的上色结果后，可以使用其他绘画工具对细节进行优化和调整，例如使用笔刷工具进行绘制、使用色彩工具进行调色等等
1.Canva
有啥用？
暂时无法在飞书文档外展示此内容
canvas-zoom
支持版本
Adds the ability to zoom into Inpaint, Sketch, and Inpaint Sketch.
The extension supports webui version1.1 1.2 1.3
The extension is fully compatible with webui version 1.4 1.5 and the built-in canvas-zoom-and-pan extension. However, I still recommend that you disable the built-in.
在哪下？
canvas-zoom怎么玩？
重要的热键：缩放（移位+滚轮）、移动画布 （F）、全屏 （S） 和重置缩放 （R）。
移位 + 滚轮 - 缩放画布
Ctr + 滚轮 - 更改画笔大小
Ctr-Z - 撤消上一个操作
F（保持）- 移动画布
S - 全屏模式，放大画布以使其适合屏幕。
R - 重置缩放。
Q - 打开/关闭颜色面板
T - 打开鼠标正上方的颜色面板。
H - 用画笔颜色填充整个画布（在素描和上漆素描中工作）
A - 拨动滴管 （ 在素描和上漆素描中工作 ）
O - 重叠所有元素并向后
C - 切换蒙版透明模式（仅适用于 Inpaint ）
2.preset
sd_web_ui_preset_utils https://github.com/Gerschel/sd_web_ui_preset_utils.git
省去每次设置参数，但不想设置提示词
3. sd-webui-regional-prompter
https://github.com/hako-mikan/sd-webui-regional-prompter指定位置
提示词
green hair twintail BREAK
red blouse BREAK
blue skirtActive : On
Use base prompt : Off
Divide mode : Vertical
Divide Ratio : 1,1,1
Base Ratio : (8k, best quality:0.9), ((Exquisite facial features)), ((Anime style:1.2)), ADDCOMM,
1 girl, (wailking on street:1.3), ADDBASE,
long pink hair ADDROW
white dress ADDROW
blue skirt, black pantyhose, (nsfw:1.5), verybadimagenegative_v1.3, ng_deepnegative_v1_75t, (ugly face:0.8), cross-eyed, sketches, (worst quality:2), (low quality:2), (normal quality:2), lowres, normal quality, ((monochrome)), ((grayscale)), skin spots, acnes, skin blemishes, bad anatomy, DeepNegative, facing away, tilted head, {Multiple people}, lowres, bad anatomy, bad hands, text, error, missing fingers, extra digit, fewer digits, cropped, worstquality, low quality, normal quality, jpegartifacts, signature, watermark, username, blurry, bad feet, cropped, poorly drawn hands, poorly drawn face, mutation, deformed, worst quality, low quality, normal quality, jpeg artifacts, signature, watermark, extra fingers, fewer digits, extra limbs, extra arms, extra legs, malformed limbs, fused fingers, too many fingers, long neck, cross-eyed, mutated hands, polar lowres, bad body, bad proportions, gross proportions, text, error, missing fingers, missing arms, missing legs, extra digit, extra arms, extra leg, extra foot, ((repeating hair)), 
前后测试对比
使用前 使用后
(masterpiece:1.2), best quality, highres, extremely detailed CG, perfect lighting, 8k wallpaper, (masterpiece:1.2), best quality, highres, extremely detailed CG, perfect lighting, 1 1girl, solo, classroom ADDCOMM
white hair, blue eyes, ADDBASE,
black football pantyhose, ADDROW,
red skirt, ADDROW, 
复现效果，去除底模影响，还原效果90%
复现率85%吗，人物数量不稳定，连贯性不够，前后差异较大，
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。
原创声明：本文系作者授权腾讯云开发者社区发表，未经许可，不得转载。
如有侵权，请联系 cloudcommunity@tencent.com 删除。