斯坦福研究发现，56%的可执行 Claude 任务具有后果影响或属于高风险任务
斯坦福对 249,834 段 Claude 对话的分析发现，56%的可执行任务具有后果影响或属于高风险任务。
一、斯坦福研究人员分析了 249,834 段真实 Claude 对话
斯坦福大学一项针对 249,834 段 Claude.ai 对话的研究发现，在包含可分类、可执行工作的对话中，56%涉及具有后果影响或高风险的任务。这一发现表明，用户已经在将 AI 用于可能影响他人、产生持久后果或难以逆转的工作。
该论文《大规模人机协作：跨 250,000 段对话的任务关键性、主体性与摩擦》于 2026 年 8 月 21 日提交。其作者——Yijia Shao、Dora Zhao、Vishakh Padmakumar、Jennifer Wang 和 Diyi Yang——均隶属于斯坦福大学社会与语言技术实验室。
Anthropic 于 8 月 26 日宣布了这项研究合作。该研究是通过 Anthropic Insights 开展的三项试点研究之一；Anthropic Insights 是一个保护隐私的使用情况分析系统，此前名为 Clio。斯坦福研究人机协作，牛津大学人类信息处理实验室考察用户与 Claude 互动时的体验，非营利组织 METR 则开始分析 Claude Code 会话中的生产力。
每个团队都自行设计研究问题。Anthropic 在其服务器上运行获批的分析，并向研究人员提供汇总结果，而非对话文本记录。斯坦福论文是该试点中首份完成的研究报告。
56%这一数字需要重要的分母说明。它适用于研究人员识别出可执行任务、并能够为其划定关键性层级的对话。完整语料库中约三分之一没有适用的可执行任务。因此，这一结果不应被解读为 56%的所有 Claude 对话都具有后果影响。
二、法律和金融建议的任务关键性最高
研究人员将可执行任务分为四个层级：短暂性、操作性、具有后果影响和高风险。评估考虑了包括可逆性、工作是否会影响他人，以及其潜在影响严重程度等因素。
在可执行任务中，20%被归为短暂性，24%被归为操作性，44%被归为具有后果影响，12%被归为高风险。将最后两个层级合并后，即得出所报告的 56%。
“具有后果影响”的工作被定义为“影响他人或难以撤销”的工作。高风险层级涵盖可能带来严重职业、法律、财务、健康或机构性后果的任务。
法律和金融建议在论文的 0 至 3 分任务关键性指数上排名最高，得分为 2.14。该领域约 24%的对话被归为高风险。其底层类别包括合同起草、就业和移民问题、税务规划、投资分析及其他专业建议。
商业支持得分为 1.75，职业支持得分为 1.70。软件开发为 1.37，而 AI 和数据任务得分为 1.32。学术课程作业较低，为 1.06。这些比较表明，该分类并非只是对技术复杂度的衡量：涉及外部后果的咨询类任务，得分高于许多技术要求很高的活动。
随着风险上升，用户也改变了自己的行为。高风险对话平均有 12.4 轮，而短暂性工作的平均轮次为 6.5 轮。随着关键性提高，用户提供了更具体的语言，并逐步补充背景信息。
然而，任务分解并未在最高层级持续增加。用户变得更精确，但并未始终将高风险问题分解为越来越小的步骤。这一区别很重要，因为较长的对话可能反映了更高的参与度，却未必提供可靠的审查流程。
三、人类通常主导，但监督程度不一
该研究采用五级人类主体性量表，范围从由 AI 主导的自动化到人类参与不可或缺的工作。研究将 72%的适用对话归为“人类主导，AI 协助”：用户确定方向并保留主要责任，而 Claude 协助完成任务。
这一发现不同于主要建立在完全委派基础上的 AI 使用模式。大多数抽样用户并未只是将整个目标交给 Claude，然后接受第一个回答。
研究人员还单独分类了人们如何处理 Claude 的输出。可选模式包括直接使用、理解、调整、批评和拒绝。调整——在使用前修改回答——是最常见的行为，约占适用的具有后果影响任务对话的 60%。随着任务关键性提高，直接、不经修改地使用的情况有所下降。
对于高风险工作，用户更常尝试理解输出，而不是将其视为成品。这一模式表明更为谨慎，但并不能证明用户验证了 Claude 的主张，或具备足够的领域知识来识别错误。人类主导和有效监督并不是等价的衡量指标。
Claude 还在 67%的对话中展现出某种形式的主动教学。教学不限于正规教育：软件开发以及健康或生活方式问题各约占这些互动的 18%，商业占 12%。混合式教学方法——将程序性指引与概念性解释结合——是最常见的方式，出现在 61%的教学案例中。
因此，该研究识别出 AI 影响能力的两种不同方式。解释可能帮助用户理解任务，而直接执行可能替代用户原本会自行完成的工作。对话数据能够区分这些互动模式，但无法判断用户之后是否保留了相关知识。
四、约半数对话中出现摩擦
研究人员在 49.7%的对话中检测到摩擦——某种形式的困难或中断。在这些案例中，38.6%被归为由模型引发，包括能力限制、幻觉和拒绝回答。由用户引发的摩擦通常涉及含糊或信息不足的请求，占 19.4%。
其余 42%涉及复合性失败。在这些案例中，不清晰的请求与 Claude 随之产生的误解相互强化，而非形成单一、孤立的错误。
在包含摩擦的对话中，用户有 78.7%尝试恢复。恢复行为包括补充缺失背景、重新表述提示词、纠正错误、要求澄清，或质疑模型的推理。
并非每一次中断都被归为有害。有些摩擦促使用户澄清目标、更仔细地检查回答，或完善所要求的输出。在采用质疑模型推理这一策略的案例中，81.5%被归为具有成效。
不过，“具有成效”是一个对话层面的标签，而非对事实准确性或现实成功的衡量。该研究并未独立评估 Claude 最终是否给出了正确的法律建议、安全的医疗指引、可运行的软件，或促成成功的商业决策。
五、隐私保护也限制了可审计的内容
Anthropic Insights 的工作方式是让 Claude 针对研究人员为每段对话编写的问题——称为 facets——作答。类别型和数值型答案会被汇总，而开放式答案可以被嵌入并归入集群。外部研究人员获得的是类别描述、计数、百分比和交叉表，而非底层消息。
斯坦福团队在 WildChat 上测试了其问题；WildChat 是一个公开对话数据集，团队能够查看原始文本。Anthropic 承认，与常规 Claude 流量相比，WildChat 包含更多轻松和创意性的使用。一些在 WildChat 上表现良好的问题，应用于 Claude 对话时却产生了误导性类别。
这一限制难以解决，因为研究人员和使用该研究系统的普通 Anthropic 员工都不会阅读底层对话。Anthropic 指出，问题措辞可能改变 Claude 对一段对话的分类，而开放式集群描述属于解释，而非客观记录。
对 Clio 系统的原始验证发现，约 3%的对话未能由其所分配主题集群的描述清晰呈现。Anthropic 还警告，不应使用主题分类的准确性估计来验证用于判断模型行为或用户情绪状态的 facets。
该样本还排除了 Claude 客户群体的重要部分。它包含 Free、Pro 和 Max 套餐的消费者对话，但不包含 Team、Enterprise 或 API 流量。斯坦福分析的是 Claude.ai 对话，而非 Claude Code 会话；数据代表的是 2026 年 4 月和 5 月的单一时期，而非纵向视角。
Anthropic 在发布前人工审查了汇总输出。在斯坦福的运行中，出于隐私、安全、滥用或披露方面的担忧，它对 1.9%的开放式集群进行了删改或移除，这些集群占对话的 4.28%。该公司告知研究人员其修改内容，并表示其合同审查权仅限于隐私、规避使用政策、机密信息和研究准确性。
伦敦帝国理工学院研究人员进行的一项隐私审计没有重新识别出任何用户。不过，审计人员能够将一个集群与一个被广泛使用的开源项目关联起来，因为其描述保留了鲜明细节。Anthropic 表示，计划提高未来集群所需的最少用户数量，并减少生成描述中的鲜明措辞。
发布的汇总数据集采用 CC BY 4.0 许可证。研究人员可以复现已发布表格的分析，或对这些汇总数据提出新问题，但不能独立检查源对话，也不能直接审计 Claude 的分类。该试点扩大了研究访问范围，使其不再完全局限于 AI 公司内部撰写的研究，同时仍将数据选择、计算、隐私审查和分类系统本身的控制权保留在提供商手中。
常见问题
该研究是否称所有 Claude 对话中有 56%具有后果影响？
不是。56%这一数字适用于包含可执行任务且可被划定关键性层级的对话。完整样本中约三分之一没有适用的可执行任务。
斯坦福研究人员是否阅读了用户的私人对话？
没有。原始对话和计算均留在 Anthropic 的服务器上。研究人员获得的是汇总类别、描述、计数和百分比。
斯坦福样本是否包括 Claude Code？
没有。斯坦福分析的是 Claude.ai 消费者对话。METR 获得了约 250,000 段 Claude Code 对话的单独隐私保护分析。
该研究是否表明 Claude 在高风险任务上准确无误？
不是。它衡量的是任务特征和互动行为，而非 Claude 答案的事实正确性或其后续结果。
研究数据是否公开可用？
Anthropic 以 CC BY 4.0 许可证发布了汇总集群数据。不包括原始对话、用户标识符和组织标识符。
参考来源
Share