Anthropic的Claude 3.5 Sonnet:数据分析新工具的实际表现

113次阅读
没有评论

共计 2936 个字符,预计需要花费 8 分钟才能阅读完成。

上周,Anthropic(亚马逊投资了 40 亿美元)宣布,Claude 3.5 Sonnet 现在支持数据分析

Anthropic 的 Claude 3.5 Sonnet:数据分析新工具的实际表现

Anthropic 宣布的功能类似于 ChatGPT 的高级数据分析。一个区别是,Claude 的分析工具对所有人开放,包括免费用户。ChatGPT 的高级数据分析仅对 Plus 和企业账户用户开放,每月支付 20 美元或更多。

生成代码

ChatGPT Plus 和 Claude 都通过编写和运行解析和处理数据的代码片段来进行数据分析。一个关键区别是,Claude 使用 JavaScript 编写代码,而 ChatGPT 使用 Python。

Python 拥有丰富的数值分析库生态系统,如 Pandas、NumPy 和 SciPy。JavaScript 也有丰富的生态系统,但其数据和 AI 产品不如 Python 广泛。Python 在机器学习和 AI 方面非常强大,拥有 TensorFlow、PyTorch 和 Keras 等框架。Python 还为大数据提供了出色的支持,尽管如你所见,Claude 的当前分析工具无法被视为中等数据。

相比之下,JavaScript 非常适合网页中的数据可视化。Anthropic 的解决方案使用 React,但也有像 D3.js 和 chart.js 这样的优秀可视化库用于信息展示。我发现奇怪的是,尽管有如此出色的可视化工具,我使用 Claude 生成的饼图往往会切掉某些类别的数据标签。

使用限制

我决定使用 Claude 来测试其分析能力。我将使用限制在免费版本。根据 Claude 的常见问题解答,每月 20 美元的专业版将使用限制提高了五倍。

这可能是严肃使用的必要条件,因为在大约 20 分钟的测试后,我被关闭了。

编写代码清理数据

为了测试 Claude 的数据分析能力,我访问了 data.gov 网站并下载了一个 社会保障管理局的数据集,该数据集来自社会保障卡申请的婴儿姓名使用情况。

这些数据以 ZIP 文件的形式提供。我提取了 145 个逗号分隔值(CSV)文本文件,包含从 1880 年到 2023 年的婴儿姓名数据,每年一个文件。

我首先尝试选择所有文件并将它们作为一个组导入 Claude。我被告知 Claude 一次只能导入五个文件。

因此,我决定编写一个脚本,将所有数据创建为一个文件。问题是每个单独的文件不包含年份作为字段之一。因此,我的脚本必须从文件名中添加年份到文件中的每个记录,然后对所有文件执行此操作。

我没有自己编写代码,而是要求 Claude 为我完成。

它创建了一个看起来能完成任务的 shell 脚本。

它成功了,并且完全按照我的要求执行。运行该 shell 脚本的结果是一个 37MB 的文件。不幸的是,我很快发现 37MB 超过了 Claude 的 30MB 上传限制。我需要一个明显更小的数据集。

我没有使用每年的姓名数据,而是决定如果我只使用每十年的一个文件的姓名数据,我将把数据集大小减少到原始大小的 10%。所以我改变了我的提示并将其反馈给 Claude。

这和第一个提示一样有效,我得到了一个 3.9MB 的文件。

总的来说,我对今天 Claude 3.5 Sonnet 的编码工作非常满意。我之前 让这个 LLM 通过了我的编码测试,但没有太多成功。所以这次看到它顺利运行很高兴。不幸的是,这是今天测试过程中顺利进行的最后一部分。

Claude 的更多限制

让我们来看看 Claude 的数据分析。不幸的是,Claude 在可以摄取的数据量方面似乎非常有限。Claude 表示,其专业版允许“至少比我们的免费服务多 5 倍的使用量”,并且“如果你的对话相对较短,你可以期望每 5 小时至少发送 45 条消息。”

这并不多。尽管 Claude 确实表示你可以上传五个文件和 30MB,我发现我的合并 3.9MB 文件被认为是惊人的 9124% 超过了其长度限制。该文件包含 219,181 条记录。

好吧,好吧。所以我尝试了一个仅一年的文件。文件 yob2020.txt 只有 561KB,包含 31,550 条记录。该文件显然超过了 Claude 的长度限制 1239%。

做一些数学计算,并假设你没有达到他们的消息使用限制,看起来 Claude 将其数据分析限制在大约 2,000 行,每行约 25 个字符。

让我们将其与 ChatGPT Plus 进行比较,好吗?

现在,是的,我使用的是免费的 Claude 版本,但如果 Claude Pro 提供 5 倍容量,我们可以概括(因为公司没有提供硬性限制)Claude Pro 将在大约 10,000 行 25 字符的行上达到最大值。

相比之下,我将 69,215 条记录,每行平均 50 个字符,输入 ChatGPT Plus,它工作得很好 。我将一个包含 22,797 条记录的数据集,其中包括卸载我的应用程序的用户情感数据(大多数记录包含情感短语以及固定数据)输入 ChatGPT Plus, 它工作得很好 。我将两个包含 170,000+ 行 3D 打印机 G -code 的文件输入 ChatGPT Plus, 它工作得很好

我发现 ChatGPT Plus 的数据分析确实有帮助且能提高生产力。但如果专业账户仅限于 10,000 条记录或更少,如 Claude Pro 似乎所做的那样,我可能会发现它是一个有趣的技术演示,但不是我可以可靠地添加到我的工作流程工具包中的东西。

实际测试 Claude 的数据分析

我在 data.gov 下载了大约 30 个数据集,才找到一个足够小的数据集供 Claude 分析。这是一个2020 年 11 月的可领养宠物数据集,来自马里兰州 Derwood 的蒙哥马利县动物服务和收养中心。

该数据集有 85 条记录,每条记录约 190 个字符。让我们看看它能告诉我们什么。

在提示“你能告诉我关于这个数据的信息吗?”下,Claude 识别了最常见的宠物类型(狗),最常见的摄入类型(主人放弃然后流浪——这听起来很悲伤),显著的模式和独特特征(Molly 是一个常见的名字)。

我要求一个饼图来表示动物分布。它给了我这个,显示了主要的动物类型,但“其他”占据了近 50% 的条形图。

我想知道“其他”类别代表什么。想到“其他”类别的 30% 以上是热带鱼,有点令人心酸。我脑海中浮现出一排排的金鱼缸,每个缸里只有一条孤独的金鱼。

看看那个图表和上面的图表。注意,虽然图表有足够的空间显示标签,但它们在两个图表中都被切断了。我知道有 30% 以上的热带鱼,但我不知道确切的百分比,因为显示的只是一个“3”。

JavaScript 有优秀的图表库。我认为 Anthropic 应该能够调整输出以完全表示图表数据,尤其是在横向视图中。

好吧,这真令人失望

我真的很希望 Claude 的数据分析功能能与 ChatGPT Plus 相媲美。即使 Claude 的免费版本只能做 ChatGPT Plus 的五分之一,我可能会考虑订阅。

我真的很喜欢通过多个分析工具发送我的数据并比较结果的想法。仅此一点就足以证明我每年再花 240 美元在 AI 账单上是合理的。

但从我上面的推断来看,Claude Pro 版本甚至无法处理我之前成功输入 ChatGPT Plus 的最小数据集,显然不值得投资。

我已联系 Anthropic 征求意见,但尚未收到回复。如果公司回应,我将更新本文并附上其反馈。

与此同时,你怎么看?你使用过 ChatGPT Plus 的高级数据分析吗?你是 Claude 还是 ChatGPT 的用户?你会在什么情况下考虑使用 Claude 而不是 ChatGPT?请在下面的评论中告诉我们。

正文完
 0
admin-gah
版权声明:本文于2024-10-28转载自Zdnet,共计2936字。
转载提示:此文章非本站原创文章,若需转载请联系原作者获得转载授权。
评论(没有评论)
验证码