共计 706 个字符,预计需要花费 2 分钟才能阅读完成。
最近 AI 领域传来一个令人振奋的消息:加州大学伯克利分校的 NovaSky 团队成功开发出 Sky-T1-32B-Preview 模型,其性能可与 OpenAI 的 o1-preview 相媲美,而训练成本仅需 450 美元,耗时仅 19 小时。
这一突破性成果让整个 AI 界为之震动。要知道,训练一个优质 AI 模型通常需要数十万甚至上百万美元的投资。NovaSky 团队是如何实现这一奇迹的?他们采用了一种创新的 ’AI 训练 AI’ 方法:基于阿里巴巴的 Qwen2.5-32-Instruct 进行微调,并利用开源模型 QwQ-32B-Preview 生成的数据进行训练。
虽然该模型在数学和编程测试中表现出色,但在高级物理问题上仍有提升空间。这反映了当前 AI 模型的一个普遍现象:在特定领域表现优异,但在其他领域可能力不从心。
最令人振奋的是,NovaSky 团队开源了整个项目,包括权重、数据和技术细节。这种做法与当前许多大公司将 AI 模型视为 ’ 黑盒子 ’ 的做法形成鲜明对比,为 AI 研究的透明性和可重复性树立了新标杆。
450 美元的训练成本确实令人难以置信。相比之下,去年一位朋友训练简单模型仅 GPU 租赁就花费了上千美元。这种低成本的开源方案为预算有限的研究团队打开了新的大门。
尽管 OpenAI 即将推出 o3 模型,科技巨头的步伐依然迅速,但 NovaSky 的项目证明:在 AI 领域,小团队也能创造奇迹。这让人联想到 Linux 的发展历程,或许开源 AI 将带来意想不到的变革。
总的来说,NovaSky 的项目为 AI 民主化带来了新希望。虽然它可能还无法与大公司的产品相媲美,但这种低成本、开源的方式为更多人参与 AI 研究提供了可能。也许未来的重大突破,就来自某个小实验室里的开源项目。