共计 527 个字符，预计需要花费 2 分钟才能阅读完成。
最近，Anthropic 发起了一项引人注目的挑战：谁能破解他们新开发的 AI 安全系统，就能获得 2 万美元的奖金。这个数字确实诱人，但要拿到手并不容易。
Anthropic 的 ’ 宪法分类器 ’ 系统，实际上是为 AI 设定了一套行为准则。例如，你可以询问 AI 如何制作芥末，但如果问及芥子气的配方，系统将拒绝回答。听起来简单，但实际操作却复杂得多。一位在 AI 安全领域工作的朋友表示，这种系统最大的挑战在于如何让 AI 既能识别有害内容，又不会误杀正常内容。
Anthropic 之前已经进行了一轮测试，邀请了 183 位专业人士，花费了 3000 多个小时来测试这个系统。结果如何？无人能完全破解。这并不意外，因为 AI 安全本身就是一个不断博弈的过程，就像解谜游戏，开发者总会留些后手。
现在，这个挑战已经向所有人开放，要求也有所降低，从原来的 10 个问题减少到 8 个。截止日期是明年 2 月 10 日。这个挑战不仅有机会赢取奖金，还能帮助改进 AI 安全系统。不过，需要注意的是，这个系统目前运行起来相当耗资源，Anthropic 也在努力优化。
总的来说，这个挑战既是对 AI 安全系统的一次压力测试，也是吸引更多人关注 AI 安全问题的好方法。在 AI 快速发展的今天，确保它们安全可靠地运行，确实是一个值得深思的问题。
正文完
