用Stable Diffusion打造商业级产品视觉效果的秘诀

77次阅读

共计 2052 个字符，预计需要花费 6 分钟才能阅读完成。

自从我开始学习 Stable Diffusion 以来，我的主要关注点之一就是为产品制作商业视觉效果。我尝试了许多方法，最终取得了一些令人满意的结果。我长期受益于社区，没有社区的帮助我无法做到这一点，因此我一直希望有所贡献。今天，我想分享使用 Stable Diffusion 创建产品视觉效果的经验，希望这篇文章能帮助有类似兴趣的人。

制作产品视觉效果时的关键挑战是保持产品在生成过程中的真实性。与生成随机内容不同，你希望产品看起来像拍摄的照片一样，产品的形状或颜色不应有任何变化。以下是保持产品真实性的最佳实践。

最佳实践是 同时使用 canny 和 depth zoe，以最大程度地控制产品的形状。如果只使用其中一种，Stable Diffusion 可能会误解它应该绘制的内容，例如，你可能会得到一个方形帽子，但你的产品实际上是一个圆形帽子。

你应该始终 在提示中尽可能详细地描述产品的颜色和纹理 ，但不能保证 Stable Diffusion 会正确理解它们，因为存在“关键词泄露”问题。在这种情况下，你应该使用产品的真实照片，并将其用作img2img 的潜在图像，这样你就有最大机会获得正确的颜色和纹理。

由于稳定扩散模型的性质，如果你的主体在画面中非常小，你很可能会丢失其细节，这也是为什么当你制作全身肖像时会得到混乱的脸部，因为没有足够的潜在空间供 Stable Diffusion 绘制。我发现保持产品细节的最佳方法是 将整个画面填满你的产品。至于背景，你可能会问，你可以将其放在第二步，我将在后面解释。

如果你将照片作为潜在图像输入 img2img，放弃在输出中保持任何文本或标志完整的希望。产品上的任何文本或绘图都会 100% 出现扭曲，原因与我之前提到的相同，潜在空间中没有足够的空间供它们使用。这不是 Stable Diffusion 的正确工作，你应该 在生成后在 Photoshop 中重新添加文本或标志。

浪费我最多时间的失败方法可能是一次性生成图像，这种方法可能感觉直观，但实际上毫无进展。你遮罩出产品，将其放在白色背景上，输入 Stable Diffusion 并开始生成，这是行不通的。它不起作用有几个原因。首先，如上所述，当你将产品挤压在 1 兆像素的图像中时，产品本身不会获得足够的细节。其次，记住 ControlNet 的影响是针对整个图像的，因此不仅产品的形状是固定的，背景也是固定的。我可以写一整章解释为什么这种方法行不通，但现在让我们关注实际有效的方法。

我认为这是许多付费 AI 产品图像服务所缺乏的部分，他们只关注为你生成背景，而让产品保持不变。如果你上传用手机拍摄的产品照片，你的业余照片看起来会像粘贴在生成的背景上。因此，在制作背景之前，你应该让你的产品看起来像用专业摄影设备拍摄的。

图像准备
拍摄你的产品照片，在 Photoshop 或你喜欢的类似软件中打开一个新画布，画布的比例应尽可能适合你的产品。例如，如果你的产品是高挑的口红，那么你应该有一个垂直矩形的画布，这是为了保留产品最大的像素空间。在 Photoshop 中拉直任何由镜头畸变引起的曲线，然后你可以将照片用作生成输入。
去除背景
使用 SAM 或 BirefNet 或任何背景去除模型去除背景，并使用新图像进行 ControlNet 和 img2img。这样背景就不会影响生成。
提示
尽可能详细地描述产品的颜色和纹理。并添加一些但不详细的背景和光照描述。这对于与背景生成对齐光照效果很重要。例如，我会提示香水瓶为：
高端商业广告摄影。一个玻璃香水瓶，瓶子有一个圆形的反射（黑色盖子：1.2）和一个圆形的（半透明玻璃瓶身：1.2），里面有清澈的无色液体。环境设置在茂密的竹林中，自然光照，阴影，最佳质量，获奖。
生成
使用 ControlNet Canny 和 Depth 生成，如果 Stable Diffusion 无法正确获取颜色，尝试使用照片作为 img2img 输入。生成一组 5 -10 张，选择你最喜欢的一张。这可能是你将要得到的结果。用于下一步。

图像准备
打开 Photoshop，打开一个与你最终图像大小相同的新画布，放下你刚刚选择的照片，并将其放置在你希望的位置。
遮罩产品
再次使用任何背景去除模型检测并遮罩产品。保持产品不变，只生成背景。
生成背景
使用 inpaint 模型或 BrushNet 生成背景，使用你用于美化产品的提示，删除一些产品细节，并添加更多关于背景的细节，因为现在我们专注于背景。例如：
高端商业广告摄影。一个玻璃香水瓶，瓶子有一个圆形的反射黑色盖子和一个圆形的半透明玻璃瓶身，里面有清澈的无色液体。环境设置在茂密的竹林中，自然光照，阴影，瓶子放在水上。最佳质量，获奖
在 Photoshop 中修整
继续生成直到得到你喜欢的结果，一旦你做出选择，将其放入 Photoshop 并重新添加扭曲的细节，如任何标志、文本或复杂图案，调整亮度级别以与环境匹配。