共计 1600 个字符，预计需要花费 4 分钟才能阅读完成。
事实证明，一只戴着 AI 生成的高顶礼帽的兔子仅仅是冰山一角。
继三星的有些令人不安、大多令人愉悦的草图转图像功能和苹果今年秋季即将推出的更为温和的图像游乐场之后，谷歌成为今年最新宣布推出 AI 照片编辑工具的手机公司。Pixel 9 的回应是一款名为“重塑”的新工具，在与几位同事使用一周后，我比以往任何时候都更加确信，我们都没有准备好迎接即将到来的挑战。
“重塑”是去年 Magic Editor 工具的逻辑延伸，允许用户选择并擦除场景的一部分或改变天空看起来像日落。这并不令人震惊。但“重塑”不仅仅是更进一步——它彻底颠覆了整个概念。用户可以选择任何非人类物体或场景的一部分，并输入文本提示以在该空间生成内容。结果往往非常令人信服，甚至有些诡异。光线、阴影和透视通常与原始照片相匹配。当然，你可以添加一些有趣的东西，比如野花或彩虹等。但这不是问题所在。
我和几位同事用他们的 Pixel 9 和 9 Pro 评测机测试了“重塑”的边界，我们让它生成了一些非常令人不安的内容。这需要一些创造性的提示来绕过明显的防护栏；如果选择合适的词语，你可以让它在血迹斑斑的床单下创建一个相当逼真的身体。
_左边的原始图像只需很少的努力就能变成右边的图像。_
在我们一周的测试中，我们在图像中添加了车祸、公共场所的冒烟炸弹、看似覆盖着血腥尸体的床单以及吸毒用具。这看起来很糟糕。提醒一下，这不是我们特意去使用的专业软件——它都内置在一部我爸爸可以去 Verizon 购买的手机里。
当我们向谷歌询问对此问题的评论时，公司发言人亚历克斯·莫里科尼回应了以下声明：
> Pixel Studio 和 Magic Editor 是有助于通过文本到图像生成和 Pixel 9 设备上的高级照片编辑来释放创造力的工具。我们设计生成式 AI 工具是为了尊重用户提示的意图，这意味着它们可能会在用户指示下创建可能冒犯的内容。尽管如此，并非所有内容都可以。我们有明确的政策和服务条款关于我们允许和不允许的内容类型，并建立防护栏以防止滥用。有时，某些提示可能会挑战这些工具的防护栏，我们致力于不断增强和完善我们现有的安全措施。
可以肯定的是，我们绕过过滤器的创造性提示显然违反了这些政策。在自助结账时将有机桃子当作常规种植的桃子扫描也是违反 Safeway 的政策的行为，尽管我不知道有谁会这么做。而那些有最坏意图的人也不会关心谷歌的条款和条件。这一切最令人不安的是，缺乏强大的工具来识别网络上的这种内容。我们制作问题图像的能力远远超过了我们识别它们的能力。
当你用“重塑”编辑图像时，没有任何水印或其他明显的方式表明图像是由 AI 生成的——只有元数据中的一个标签。这很好，但标准的元数据很容易通过截图从图像中剥离。莫里科尼告诉我们，谷歌为 Pixel Studio 创建的图像使用了一种更强大的标记系统，称为 SynthID，因为它们是 100% 合成的。但用 Magic Editor 编辑的图像没有这些标签。
_照片：The Verge_
可以肯定的是，篡改照片并不是什么新鲜事。人们从摄影的早期开始就在图像中添加奇怪和欺骗性的内容。但现在不同的是，从未如此容易地将这些内容真实地添加到你的照片中。一两年前，在图像中添加一个逼真的车祸需要时间、专业知识、对 Photoshop 图层的理解以及昂贵软件的访问权限。这些障碍已经消失；现在只需要一些文本、片刻时间和一部新的 Pixel 手机。
传播误导性照片也从未如此容易。令人信服地操纵照片的工具就存在于你用来捕捉和向全世界发布照片的同一设备中。我们将一张“重塑”的图像上传到 Instagram 故事中进行测试（并迅速撤下）。Meta 没有自动将其标记为 AI 生成，我确信如果有人看到它，也不会察觉到任何异常。
谁知道呢，也许每个人都会阅读并遵守谷歌的 AI 政策，并使用“重塑”在他们的照片中添加野花和彩虹。那会很美好！但以防万一他们不这么做，对你在网上看到的照片保持一点额外的怀疑可能是个好主意。
