共计 2186 个字符,预计需要花费 6 分钟才能阅读完成。
在机器学习的领域里摸爬滚打多年后,Terry Sejnowski 成了人工智能(AI)积极影响的坚定支持者。2018 年,他在《深度学习革命》一书中大胆宣称:“AI 会让你变得更聪明。”
AI 的世界变化迅速,自 2018 年以来,生成式 AI(Gen AI)已经深入我们的生活。在最新出版的《ChatGPT 与 AI 的未来:深度语言革命》中,Sejnowski 再次强调了大型语言模型(LLMs)的崛起,并坚定地认为:“AI 确实让我们变得更聪明。”
但“更聪明”到底意味着什么?Sejnowski 在接受 ZDNET 采访时解释道:“智能实际上是关于解决问题的。”通过 ChatGPT 这样的工具,“我能够更快地掌握知识,同时,它也引导我发现了一些我可能从未想过或探索过的东西;它正在打开大门。”
Sejnowski 将 ChatGPT 比作一把铲子,认为这些大型语言工具正在帮助我们比赤手空拳做得更好。他提到,作家在使用 ChatGPT 后变得更好,因为“它帮助他们克服了心理障碍。”
他在新书中透露,自己广泛使用 ChatGPT 来研究这本书,使得写作时间大约是他之前关于《深度学习革命》的书的一半。新书与之前的作品在风格和权威性上保持一致,但内容截然不同。2018 年,Sejnowski 讲述了一段历史。在新书中,Sejnowski 关注的是这些工具的发展方向以及它们如何改变我们对思维和自我认知的观念。
Sejnowski 认为,我们现在正处于工具使用的阶段;我们正在学习如何使用这些工具,而这些工具也在不断改进。他指出,ChatGPT 虽然不能做得像最好的人类那样好,但比大多数人做得好得多。
然而,ChatGPT 的一个不足之处是,它无法像 Sejnowski 那样写出优秀的文章。在整本书中,他提供了由 ChatGPT 生成的章节摘要,希望它们可能“比正文更容易理解”。事实上,这些摘要平淡无奇,很像许多 GPT 生成的散文,看起来更像是一个噱头。这是书中唯一的弱点,但考虑到整本书的精彩和引人入胜,这一小瑕疵可以被原谅。
书中更深层次的部分占据了大部分篇幅,分析了生成式 AI 如何影响科学,反之亦然。例如,AI 正在揭示神经科学家对大脑的某些方面,而神经科学反过来又为 AI 开辟了新的可能性,他提出了一种良性循环。
Sejnowski 在 1970 年代在普林斯顿大学获得物理学博士学位,师从 John Hopfield,并与 Geoffrey Hinton 进行了广泛合作,这两位科学家因其在 AI 方面的工作获得了今年的诺贝尔物理学奖。Sejnowski 的早期研究转向了神经科学,因为他想了解大脑是如何工作的。
许多 AI 从业者认为,大脑相对于人工神经网络来说过于复杂,难以取得进展,因此他们逃离了脑科学,以提高发表突破性成果的职业机会。然而,Sejnowski 对所学到的知识感到兴奋,并确信他正处于通过 AI 做出关于大脑的重大发现的门槛上。
大型语言模型的底层机制——它们预测下一个单词的方式——是一种基本机制,适用于人类记忆。Sejnowski 认为,类似的事情正在大脑中发生。他向 ZDNET 解释说,神经科学家的问题可能是,“大脑中是如何实现长输入向量的?不仅跨越句子,还跨越段落。你正在大脑中构建某种故事,这是如何发生的?”
Sejnowski 认为,答案是所谓的“旅行波”,即穿越大脑皮层的神经元活动波。这种现象在神经科学中“通常被忽视”,他说,因为“没有人知道它的功能可能是什么。”
在《革命》的中间部分,Sejnowski 暗示生成式 AI 可能最终阐明了旅行波的奥秘。他提供了一段关于 LLMs 的精彩历史,带领读者从 AI 的早期发展到语言模型的最早形式——变压器。感兴趣的读者可以在《神经科学趋势》杂志的学术论文中找到更多关于旅行波和变压器的详细信息。
与此同时,事情正在“向相反方向发展”,人工智能继续从神经科学中汲取灵感并不断进化,Sejnowski 告诉 ZDNET。
在书中,他提出,大型语言模型的各种缺陷——“幻觉”和有时无意义的输出——可以理解为类似于人类自身心理发展阶段的发展阶段。这项技术虽然前景光明,但仍有很长的路要走。
“LLMs 是彼得潘,他们从未长大,生活在数字化的永无乡,”Sejnowski 写道。“LLMs 也缺乏青春期;在人类中,这是前额叶皮层成熟并抑制不良判断之前。”
书的最后一部分关注的是,在这种类似童年的范式下,AI 可能会走向何方。
“AI 的长期方向是将 LLMs 整合到更大的系统中,”他写道,“就像语言被嵌入到已经进化了数百万年的大脑系统中,用于感觉运动控制,这对生存至关重要。”
Sejnowski 告诉 ZDNET,生成式 AI 已经通过借鉴其他科学领域的知识扩展了其能力。
近年来 LLMs 中最显著的创新之一是插入了所谓的“状态空间模型”,借鉴了粒子物理学。商业公司,如 AI21,已经使用状态空间模型显著提高了响应提示所需的时间。
Sejnowski 告诉 ZDNET,状态空间模型也与大脑的旅行波理论相关联,使事情圆满。
这种科学和 AI 之间的交叉授粉是书中最引人入胜的方面,突显了双方还有多少需要理解的地方。
LLMs 具有 AI 研究人员才刚刚开始理解的底层结构。Sejnowski 预测,解开这一谜团可能会导致新的数学形式,进而显著推进 AI。
“今天的 LLMs 相当于中世纪通过试错建造的大教堂,”他在《革命》中写道。“随着 LLMs 激发新的数学,一个新的概念框架将具体化理解。”