共计 3225 个字符，预计需要花费 9 分钟才能阅读完成。
在企业中，关于 人工智能 （AI），特别是 生成型 AI（Gen AI）的讨论，大多集中在统计数据上，如开发中的项目数量或自动化带来的预期成本节约，而其好处仍然很大程度上是假设性的。
为了绕过一些统计数据和理论，听取 Gen AI 用户的意见可能会有所帮助，正如我在上周由数据仓库供应商 Snowflake 在纽约举办的一次晚宴上所做的那样。该公司邀请了知名客户来分享他们将 AI 应用程序投入生产的经验。
总体印象是，AI 有意义的使用案例，包括文档搜索，可以在实施后的六个月或更短时间内开始带来好处。这些对话是轶事性的，Snowflake 希望通过其客户的最佳案例来推广其云数据仓库服务。
尽管如此，考虑到这一警告，客户的深思熟虑的评论表明，公司在投入 AI 时，即使是非常简单的使用案例，也能在短短几天、几周或几个月的生产中创造价值。
Thomas Bodenski，TS Imagine的首席运营官兼分析主管，该公司销售基于云的证券交易平台，描述了在他的公司，传统上需要 4000 个“人时”的劳动力来让人阅读电子邮件以获取关键的可操作事件。
“我每年收到 10 万封邮件，我们购买数据的人告诉我，三个月后我们将做出改变，”Bodenski 解释道。“如果我没有准备好，就会有 500 个客户无法交易，”他说。“所以，阅读每一封进来的邮件非常重要。”
“只需做一下数学计算，”TS Imagine 的首席运营官 Thomas Bodenski 说。
这项任务传统上是由他监督的“全球团队”负责的。他说，至少有两个半“全职等效”人员，“而且他们必须是聪明的人。”
Bodenski 说：“现在，我使用生成型 AI 应用程序，以原来成本的 3% 来完成这项工作。”
“只需做一下数学计算，”Bodenski 说。“你取平均工资，然后计算你在 Snowflake 上的花费，这只是原来成本的 3%。”
Bodenski 说，这个邮件阅读程序是 TS Imagine 在 Snowflake 的帮助下构建的第一个应用程序。它使用了 Meta Platforms 的开源 Llama 大型语言模型和 Snowflake 的 开源替代品 Arctic。这些大型语言模型采用了 检索增强生成（RAG），模型可以访问外部数据库。
“我不认为我能回到过去，”S&P Global Market Intelligence 的 Daniel Sanberg 说。
这个应用程序“经过了六个月的试错学习，”Bodenski 说。这个过程在 TS Imagine 与 Snowflake 建立关系之前就开始了。
然后 Snowflake 推出了 Cortex AI，这是 Snowflake 管理的LLM 推理服务，“我们在四天内将整个 RAG 管道迁移过去，现在我们能够构思一个不同的故事。”
Cortex AI 服务使 Bodenski 能够对传入的客户电子邮件进行敏感性、紧急性等参数的分类，这在以前是不可能的，“因为我不会，你知道，阅读每个月进来的 5000 封客户邮件，”他说。
通过分类，Bodenski 说结果是“我在火灾发生前就发现了火苗，”这意味着客户失误。“它很可靠，我没有问题，我不会错过任何一封邮件。”
Bodenski 说，TS Imagine 现在有六个使用 Gen AI 的应用程序在运行，“而且我会做更多。AI 将继续构建我们的思维，”他说：“它有效。”
根据 S &P Global Market Intelligence 的“量化研究”主管 Daniel Sanberg 的说法，Snowflake 客户 S &P Global Market Intelligence 也有类似的经历，他也是晚宴的嘉宾。
Sanberg 的公司在其 Microsoft Office 应用程序之上实施了一个名为 Spark Assist 的内部应用程序。现在，该公司可以自动生成电子邮件摘要。
“Gen AI 足够聪明，知道哪些是最相关的，需要我立即关注，哪些可能需要被降级，我只需对 AI 模型说，‘继续写这些的回复’，然后我进行抽查。”
Sanberg 说，这个应用程序被 S &P Global 的 14,000 名员工使用。“我不认为我能回到过去，”他说，指的是试图手动分类和筛选电子邮件的旧方式。
但是，这些应用程序的投资回报是否能证明构建应用程序和推理成本的合理性？“我会说，凭感觉，是的，”Sanberg 说，尽管他补充道：“我认为我们仍在评估很多事情。”
Sanberg 继续说道：“问题是，总体上，回报是什么样的？这还有待确定。但在个别情况下，当然；过去需要几天甚至更长时间才能完成的事情，现在可以在一天内完成（使用 Gen AI）。”
他将 Gen AI 与互联网早期时代相比，当时拨号速度限制了普通用户的回报。
“如果我们坐在这里，必须等待 15 分钟才能通过拨号调制解调器登录”互联网，“真的值得吗？”Sanberg 说。
“但，这不是我们现在的情况，”他说。“这是我们五年后的情况；我认为很多事情都会得到解决。”
Snowflake 的 AI 主管 Baris Gultekin 也在晚宴上，他表示 Gen AI 已经可以为自动化某些任务提供更好的经济效益。
“Cortex Analyst 是一个产品，允许某人提出问题，立即从数据中获取答案，”他解释道。
“目前 1000 个问题的价格是 200 美元，所以，每个问题 20 美分。这是一个否则必须由分析师回答的问题。他们会为每一个问题编写 SQL 查询。所以，想象一下 1000 个 SQL 查询。每个查询需要 10 分钟。你可以看到投资回报率：每个问题 10 分钟，1000 个问题，而不是 200 美元。”
Snowflake 的 AI 主管 Baris Gultekin 表示，Snowflake 的 Cortex 产品已经在产生成本节约。
当然，这里 20 美分，那里 20 美分，加起来就是一笔钱，Snowflake 的全球销售工程副总裁 Chris Child 在晚宴上说。关键在于，企业能够预测推理开始时的成本如何累积。
“在大多数情况下，人们已经预留了预算，”Child 说。“他们正在考虑宏大的事情，而这更多的是关于，‘我如何理解在几个月内它会花费我多少，以及我如何知道它何时会超过这个趋势？’”
他的建议是：“试试看，运行一次，看看，然后估计你需要做什么才能大规模进行。”
Child 继续说道：“测试假设的成本很高，”相比之下，“如果我要花 1000 美元来运行一个初始测试案例，虽然仍然很贵，但比用人来测试同样的假设要便宜得多。”
Chris Child：“试试看，运行一次，看看，然后估计你需要做什么才能大规模进行。”
当 S &P Global 为其客户使用 Snowflake 构建应用程序时，该工具旨在对 Russell 3000 指数中的公司发布的 12,000 份历史季度财务报告进行分类，这些报告涵盖了 10 年内的 120,000 份文档。
“我们上平台后做的第一件事是编写一个脚本，帮助我们在运行前计算成本，我们能够做到这一点，”Sanberg 说。
“我喜欢基于消费的模型，”他说，指的是 Snowflake 按实际使用时间而不是传统软件使用许可证向客户收费的做法，“因为在定价上有透明度，在我看来，这在各方面都是公平的。”
TS Imagine 的 Bodenski 表示，Cortex 中运行推理的定价灵活性符合他的需求。
“我可以运行一个过程，其中我可以接受每个提示等待三分钟，但我也可以运行一个过程，其中不能接受三分钟的等待，我想要它在五秒钟内完成，”他解释道。
“我通过将规模从超小增加到中等来即时做出决定，”他指的是计算规模。
Bodenski 说，TS Imagine 用于筛选电子邮件的应用程序很快显示了其价值。“我们在设计后的四天就看到了影响，”他说，“因为它揭示了我们需要关注的事项，并提高了我们的客户服务质量。”
该应用程序现在已经投入生产四个月。“这对我们来说非常重要，”他说。“它使我能够检测到我应该参与的事项，或者我的区域经理，我的全球主管，”Bodenski 说。
“它自动运行，产生结果，我们正在捕捉”可能需要几周时间才能在电子邮件中收到回复的事项，“而且我不需要雇用或重新分配任何一个人来完成这个过程。”
