共计 3213 个字符，预计需要花费 9 分钟才能阅读完成。
新加坡——“我很久以来一直想见你，”社交媒体平台 Threads 上最近的一篇帖子写道，配图是一位女性从汽车后座凝视摄像头的照片。“你来自哪里？我会来找你。”
“我在新加坡，你呢？”一位用户回复道，使用了“how about you”的缩写，似乎没有意识到这位女性并非真实存在。
这位自称 Nicolette Smith 的女性，是一种新型数字欺骗的代表，这种欺骗正在社交媒体上泛滥。
该账号遵循一种重复的模式，发布同一姿势照片的无数变体，总是配以暗示性的标题，通常是用不流利的英语写的。
其中一篇帖子毫不掩饰：“你是单身吗，老先生？我正在寻找真爱。”
回应令人震惊。
每篇帖子都有数百条评论，其中许多人似乎真的相信了。“我是一名退休的单身鳏夫，”一位用户写道。
另一位说：“我结婚 45 年了，妻子去世了。”
许多用户评论时附上了他们的位置，从新加坡到布里斯班再到布加勒斯特，遍布全球。
该账号于 8 月开始发布内容，至今已积累了超过 16,000 名粉丝，但这只是冰山一角。
“杀猪盘骗局”常见于社交媒体和约会应用，骗子会逐步诱导受害者汇款。
Threads 和 Facebook 背后的公司 Meta 未就此事及其他不真实内容的例子回应评论请求。
平台上还存在数十个其他账号——其中许多也使用 Nicolette Smith 的名字。尽管许多账号的粉丝数量微不足道，但其他账号通过相同的策略，伪装成男性和女性，获得了类似的互动水平。
这也是最大化互动算法和新工具崛起如何交织在一起，大规模向用户传递不真实材料的标志。
在新加坡投诉 Facebook 群组中，一个有 26 万名成员的群组，一位用户转发了一则声称一名 11 周大的女婴在接种 20 种疫苗后死亡的帖子，配图似乎是一张 AI 生成的图像。
大多数评论者对这种明显的虚假信息表示怀疑，但少数人接受了。
“这就是为什么我从女儿出生起就坚决拒绝接种疫苗，”一位用户写道。“但在新加坡，不接种疫苗就不能上学。”
该帖子源自一个名为“健康与幸福”的 Facebook 页面，该页面向超过 47 万名粉丝发布了大量 AI 生成和盗取的图像和视频。该页面的个人资料声称其位于美国。
其中一篇帖子声称，左侧卧睡可以减少胃灼热的可能性。另一篇帖子则误导性地声称，一名 13 岁少年成为“世界上第一个”治愈晚期脑癌的人——这个故事显然源自法新社的报道，但被夸大得面目全非。
这些只是新加坡网络空间中众多不真实内容的几个例子。
TikTok 账号 @selelehsg 通过 AI 生成的视频描绘新加坡的戏剧性场景，获得了数万次观看。
一段关于湿货市场摊主与老人争吵的视频获得了超过 150 万次观看。另一段描绘地铁乘客争吵的视频则吸引了超过 23.9 万次观看。
尽管有标题，但超过 150 万观看该视频的 TikTok 用户中，许多人并未意识到它是 AI 生成的。
尽管标题提到 AI，但许多评论者并未意识到这些视频的不真实性。
其他视频创作者采取了不同的方法，通常披露较少。
一段发布在新加坡 Facebook 群组中的视频采用了 AI 配音，虚构了印度特种部队如何花费超过九小时应对孟买恐怖袭击的叙述，过程中拼接了数十个无关的片段。
该帖子引发了网民的“大笑”反应和评论，似乎没有意识到其中的不准确之处。
来源：TikTok 账号 @syinshyqer，该账号通过将无关片段拼接成叙事，配上夸张的时事叙述，许多内容都是编造或夸大得面目全非。
其关于孟买恐怖袭击的视频自 10 月发布以来已获得超过 70 万次观看。
一段 TikTok 视频通过拼接无关片段，创造了关于印度恐怖袭击应对失误的虚假叙述。
虽然许多这类内容看似无目的且不连贯，但它们遵循更广泛的经济逻辑。
当针对孤独个体时，它们是浪漫骗局。其中一种表现形式被称为“杀猪盘骗局”，骗子在从受害者那里提取加密货币或欺诈性投资形式的资金之前，先建立信任。
德克萨斯大学奥斯汀分校的研究人员追踪了从 2020 年 1 月到 2024 年 2 月间，超过 750 亿美元（约合 97.6 亿新元）的加密货币从超过 4000 名受害者流向主要位于东南亚的账户。
这种货币化不仅限于直接欺诈，平台也为虚假信息经济做出了贡献。
在某些地区（不包括新加坡），TikTok 根据某些标准（包括互动水平）向创作者支付报酬，作为其创作者奖励计划的一部分。
通过其电子商务部门 TikTok Shop 销售的产品有时也通过 AI 生成的视频进行推销，每笔销售都能获得佣金。
其他平台，如 Facebook 和 YouTube，也通过支付奖励视频互动。
根据 404 Media、NPR 和《纽约杂志》的报道，这导致了许多人——其中许多位于发展中国家——使用 ChatGPT 等工具大规模为平台生产此类内容作为一种商业模式。
这些报酬可能超过这些地区某些职业的年薪。一位位于菲律宾的内容创作者在 8 月告诉 NPR，他通过 AI 生成的视频在一个月内赚了 9000 美元。
TikTok 上 AI 生成视频的截图。
虽然网络上的不真实材料并不总是 AI 生成的，但低努力、AI 支持的内容的崛起被网络评论者称为“AI 垃圾”。
超过 1000 万 TikTok 用户观看了一段美国牧师热情布道的视频：“亿万富翁是我们唯一应该害怕的少数群体。他们有摧毁这个国家的力量。”
另外 5200 万人观看了一段关于一名男子在街上救下从楼上掉下的婴儿的视频。“合适的人，在合适的地方做合适的事。上帝在掌控，”一条评论回应道。
并非所有观众都意识到这些视频是使用 OpenAI 的新视频生成工具 Sora 制作的，该工具于 9 月开始推出。
一些明显的迹象包括不寻常的裁剪或模糊以隐藏 Sora 水印，或粗糙的编辑以掩盖其他 AI 指标。
可以肯定的是，这种 AI 支持的虚假信息在 Sora 之前就已存在。
4 月，选举令状发布后，TikTok 上出现了大量与普选相关的 AI 生成视频。这些视频包括候选人的被操纵视觉图像，以及包含候选人真实镜头但配上 AI 生成元素（如头像或文本转语音配音）的视频。
使用 Stable Diffusion 等免费工具生成的 AI 图像。
OpenAI、微软和 Adobe 等公司已引入反制措施，如在 AI 生成的内容上附加不可见的元数据以表明其来源。
但该工具在成功标记 AI 生成内容方面并不一致。
《华盛顿邮报》10 月 22 日发布的一项调查发现，当使用 Sora 生成的视频上传到八个主要社交媒体平台时，只有其中一个（YouTube）披露了它是 AI 生成的。该披露隐藏在视频附带的描述中。
这还不考虑可以通过多种方法绕过此类元数据，或在线材料可以在不使用 AI 生成视觉的情况下不真实。
部分困难可能源于辨别不真实与无害编辑之间的细微差别的复杂性。
2024 年，Meta 的“由 AI 制作”标签被更改为“AI 信息”，此前摄影师批评该标签错误地将他们的 Photoshop 编辑材料标记为 AI 生成。
图形编辑软件 Adobe Photoshop 和许多其他用于对内容进行无害更改的工具，也对其输出应用类似的元数据。
但问题并不仅限于新图像处理或生成式 AI 技术的崛起。这种虚假信息长期以来一直与社交媒体交织在一起。
YouTube 提供了一个说明性的例子。该平台长期以来因托管内容农场而受到批评，这些农场为盈利生产大量虚假信息——包装为丰富多彩但不可信的烹饪技巧，或利用平台最大化互动推荐算法的伪科学健康提示。
根据 11 月 6 日发布的路透社报道，Meta 内部预测其 2024 年总年收入的约 10%（或 160 亿美元）来自为骗局和违禁商品投放广告。该公司 5 月的内部研究还估计，Meta 的平台参与了美国所有成功骗局的三分之一。
如果不解决社交媒体的这种内在张力——为了最大化大规模互动，往往以准确性和福祉为代价——不真实材料很可能仍然是当今网络空间的一个特征，而不是缺陷。
目前，它催生了另一个流行的子类型：创作者揭露病毒式虚假信息的视频。
针对 AI 生成的牧师视频，美国 TikTok 创作者 Jeremy Carrasco（他主要报道媒体中的 AI）在自己的视频中指出，粗略查看该账号的个人资料就会发现其不真实的来源。
“这种基本研究并没有阻止许多大网红转发这个，”他说。
