共计 574 个字符，预计需要花费 2 分钟才能阅读完成。
几个月前，一位医生向我展示了用于记录和总结患者会议的 AI 转录工具。虽然在我这个案例中，总结是不错的，但据 ABC 新闻报道，研究人员发现，使用 OpenAI 的 Whisper 的工具并不总是如此——有时它会完全编造内容。
Whisper 被一家名为 Nabla 的公司用于医疗转录工具，Nabla 公司估计其工具已转录了 700 万次医疗对话。该媒体写道，超过 3 万名临床医生和 40 个医疗系统使用它。Nabla 据报道知道 Whisper 可能会产生幻觉，并正在“解决这个问题”。
康奈尔大学、华盛顿大学等机构的一组研究人员在一项研究中发现，Whisper 在约 1% 的转录中产生了幻觉，在录音中的沉默期间编造了整句有时带有暴力情绪或无意义的短语。研究人员指出，患有失语症的人在说话时，沉默尤其常见。
该研究于 6 月在巴西的 ACM FAccT 会议上展示。目前尚不清楚该研究是否经过同行评审。
OpenAI 发言人 Taya Christianson 向 The Verge 提供了以下声明：
我们认真对待这个问题，并不断努力改进，包括减少幻觉。对于在我们 API 平台上使用 Whisper，我们的使用政策禁止在某些高风险决策环境中使用，我们的开源使用模型卡包括不建议在高风险领域使用的建议。我们感谢研究人员分享他们的发现。
这篇文章揭示了 AI 在医疗转录中的潜在风险，同时也展示了 OpenAI 对问题的重视和改进的努力。
