共计 2033 个字符，预计需要花费 6 分钟才能阅读完成。
新加坡——当一张由人工智能生成的印度尼西亚名人弗朗西斯卡·萨拉斯瓦蒂（艺名西斯卡·萨拉斯）身穿粉色比基尼的图片在社交媒体平台 X 上疯传时，她迅速屏蔽了发布该图片的匿名账户。然而，这位 25 岁的歌手很快发现，这张图片是由 X 的 AI 工具 Grok 生成的，并且该工具在未经她同意的情况下公开标记了她的身份。
“我感到羞辱、烦恼、愤怒和悲伤，”萨拉斯瓦蒂告诉 CNA，“这种经历令人深感痛苦，不仅在个人层面，也在职业层面，因为它侵犯了个人尊严，歪曲了身份，并破坏了艺术家与公众之间的信任。”她的遭遇与 CNA 采访的几位马来西亚受害者的经历惊人地相似。
Grok 功能如何被滥用？
上个月，Grok 推出的“编辑图像”按钮允许用户通过输入如“让她穿上比基尼”或“脱掉她的衣服”等提示词来修改网络图片。而去年 8 月推出的“辛辣模式”则允许用户生成成人内容并编辑现有网络图像。批评者指出，Grok AI 工具已被广泛滥用于生成针对女性及未成年人的色情深度伪造内容。
受害者将 Grok 的滥用描述为“贬低人格”和侵犯个人尊严，纷纷呼吁对生成式人工智能工具实施更严格的监管。专家向 CNA 表示，近期多国政府采取的行动，反映了当局在女性和儿童安全、权利与尊严问题上所能容忍的底线。
“这标志着责任框架的转变，”新加坡尤索夫伊萨东南亚研究院的访问研究员努里安蒂·贾利表示，“监管机构不再将问题纯粹视为用户滥用，而是开始指出工具设计和部署中存在的系统性缺陷。”,
东南亚国家的反应与行动
随着 Grok AI 在国际上面临越来越多的反对声音，数个东南亚国家已采取行动暂停其服务。印度尼西亚于 1 月 10 日成为首个暂时屏蔽这款由埃隆·马斯克拥有的聊天机器人工具的国家。一天后，马来西亚跟进。马来西亚通讯及多媒体委员会随后于 1 月 13 日宣布，计划对 X 公司涉嫌安全措施失效采取法律行动。
马来西亚通讯部长法米·法兹尔在 1 月 15 日表示，只有在 X 公司证明已采取必要安全措施以防止滥用后，才会解除对 Grok 的限制。X 公司也在舆论反弹后宣布了多项措施，以防止 Grok 对真人图像进行“脱衣”处理。菲律宾随后也表示计划屏蔽 Grok，加入其东南亚邻国的行列。
卡内基国际和平研究院亚洲项目的非常驻学者艾丽娜·努尔告诉 CNA，马来西亚的法律行动指向“Grok 制造商的系统性安全措施失败”，以及其在收到警告后不愿采取补救措施的态度。,
受害者的痛苦经历
“感觉如此非人化，”多位受害者如此描述他们的感受。25 岁的歌手萨拉斯瓦蒂表示，人工智能本应是支持创造力的工具，而不应成为剥削艺术家或使其陷入危险的工具。“滥用人工智能生成露骨或有害内容，凸显了加强安全措施、制定更明确法规和建立问责制的迫切需要，”她说。
在马来西亚，27 岁的玛迪哈·莫哈末·菲尔道斯表示，当一个匿名账户突然回复她的推文，发布了一段显示她没有戴头巾的视频时，她感到震惊。“知道那个人在公共空间如此轻易地生成（我的图像），这很可怕，”她告诉 CNA，“感觉如此非人化。”作为一名将生成式人工智能用于学术研究的工程师，她表示这项技术正日益被武器化。
驻马来西亚的人权律师阿兹拉·阿齐兹本人也是图像被篡改成比基尼照片的受害者之一。她建议其他受害者使用平台的“举报”按钮向 X 公司举报违规帖子，并记录推文向马来西亚通讯及多媒体委员会投诉。,
现有措施的局限性与未来挑战
尤索夫伊萨东南亚研究院的努里安蒂指出，Grok 与 X 的整合放大了未经同意滥用图像的风险。“在社交媒体环境中公开标记该工具并生成被操纵图像的能力，将原本可能是私人滥用的行为，变成了可以迅速且明显传播的东西，”她说。屏蔽对 Grok 的访问可以减少直接伤害，但用户通常可以找到绕过限制的方法。
X 公司表示将在相关司法管辖区“地理屏蔽”创建特定人物图像的能力，并将相关功能限制为仅对付费订阅者开放。然而，努里安蒂认为这些措施效果有限，更像是“应对反弹的反应性损害控制”。科技媒体 The Verge 的报告也发现，让 Grok 生成其他暴露的深度伪造内容仍然相对容易。
马来西亚通讯部长法米承认，虽然 X 公司已禁用某些提示词，但措施“不全面”，仍有办法绕过。他强调需要在言论自由与防止滥用之间找到平衡。
卡内基国际和平研究院的艾丽娜表示，在马来西亚和印度尼西亚暂停对 Grok 的访问是一种“权宜之计”，针对的是供应而非需求。“只要存在需求，利润驱动动机意味着总会有人或公司愿意从中获利，”她说。
一些 Grok 用户认为，禁令并不能解决根本问题。使用 Grok 进行技术研究的马来西亚人迪内什·奈尔认为，问题在于滥用者而非平台本身，应惩罚个人而非屏蔽工具。
专家表示，一些国家可能更倾向于监测事态发展或与平台进行私下接触。努里安蒂指出，许多政府仍在建立有效监管生成式人工智能所需的法律和技术专业知识。“围绕 Grok 的争议表明，为人类生成内容建立的规则难以应对能够大规模、快速生产有害材料的人工智能系统，”她总结道，“对 Grok 的回应表明人们对企业自愿自我监管日益感到沮丧，并愿意尝试更强的法律回应。”
