史丹福研究發現：56% 可採取行動的 Claude 任務具重要後果或屬高風險
史丹福對 249,834 段 Claude 對話的分析發現，56% 可採取行動的任務具重要後果或屬高風險。
一、史丹福研究人員分析了 249,834 段真實 Claude 對話
史丹福大學一項涵蓋 249,834 段 Claude.ai 對話的研究發現，在包含可分類、可採取行動工作的對話中，56% 涉及具重要後果或高風險的任務。這項發現顯示，用戶已經把 AI 用於可能影響他人、產生持久後果，或難以逆轉的工作。
論文《Human–AI Collaboration at Scale: Task Criticality, Agency, and Friction Across 250,000 Conversations》於 2026 年 8 月 21 日提交。作者包括 Yijia Shao、Dora Zhao、Vishakh Padmakumar、Jennifer Wang 及 Diyi Yang，均隸屬史丹福的 Social and Language Technologies Lab。
Anthropic 於 8 月 26 日公布這項研究合作。這是透過 Anthropic Insights 進行的三項試點研究之一；Anthropic Insights 是一套保障私隱的使用情況分析系統，先前名為 Clio。史丹福研究人機協作；牛津大學的 Human Information Processing Lab 探討用戶與 Claude 互動時的體驗；非牟利機構 METR 則開始分析 Claude Code 工作階段的生產力。
各研究團隊自行設計研究問題。Anthropic 在其伺服器上執行獲批准的分析，並向研究人員提供匯總結果，而非對話逐字稿。這份史丹福論文是試點計劃首份完成的研究報告。
56% 這個數字有一項重要的分母限定。它適用於研究人員識別出可採取行動的任務，並能為其指定重要性級別的對話。完整語料庫中約三分之一沒有適用的可採取行動任務。因此，這個結果不應被解讀為每段 Claude 對話中有 56% 具重要後果。
二、法律及財務建議的任務重要性最高
研究人員把可採取行動的任務分為四級：短暫、營運、具重要後果及高風險。評估考慮的因素包括可逆轉性、工作會否影響他人，以及其潛在影響的嚴重程度。
在可採取行動的任務中，20% 被歸為短暫，24% 為營運，44% 為具重要後果，12% 為高風險。把最後兩級合計，即得出所報告的 56%。
「具重要後果」的工作被定義為「影響他人或難以撤銷」的工作。高風險級別涵蓋可能帶來嚴重專業、法律、財務、健康或機構後果的任務。
法律及財務建議在論文的零至三分任務重要性指數中排名最高，得分為 2.14。該領域約 24% 的對話被歸為高風險。相關類別包括合約草擬、僱傭及移民問題、稅務規劃、投資分析及其他專業建議。
商業支援得分為 1.75，職涯支援得分為 1.70。軟件開發為 1.37，而 AI 及數據任務得分為 1.32。學術課業則較低，為 1.06。這些比較顯示，該分類並非單純衡量技術複雜性：涉及外部後果的顧問性任務，得分高於不少技術要求甚高的活動。
隨着風險提高，用戶亦改變了行為。高風險對話平均有 12.4 輪，相比之下，短暫工作為 6.5 輪。隨着重要性上升，用戶使用更具體的語言，並逐步補充背景資料。
不過，任務拆解並沒有在最高級別持續增加。用戶變得更精確，但並非一貫把高風險問題分拆成愈來愈細的步驟。這項區別很重要，因為較長的對話可以反映更深入的參與，卻未必提供可靠的覆核程序。
三、人類通常主導，但監督程度各異
研究採用五級人類自主性量表，範圍由 AI 主導的自動化至人類參與不可或缺的工作。研究把 72% 適用對話歸類為「人類主導，AI 協助」：用戶確立方向並保留主要責任，同時由 Claude 協助完成任務。
這項發現有別於主要以全面委派為本的 AI 使用模式。大部分抽樣用戶並非只是把整個目標交給 Claude，然後接受第一個回覆。
研究人員另行分類人們如何處理 Claude 的輸出。可用模式包括直接使用、理解、改編、批判及拒絕。改編——即在使用前修改回覆——是最常見的行為，約佔適用的具重要後果任務對話 60%。隨着任務重要性上升，直接、不經修改的使用有所下降。
對於高風險工作，用戶較常嘗試理解輸出，而非把它視為完成品。這種模式顯示更審慎，但並不能證明用戶核實了 Claude 的說法，或具備足夠領域知識以識別錯誤。人類主導與有效監督並非等同的衡量指標。
Claude 亦在 67% 對話中展現某種形式的主動教學。教學不限於正式教育：軟件開發及健康或生活方式問題各佔這些互動約 18%，商業則佔 12%。混合式教學方法——結合程序指引與概念解釋——最為常見，出現在 61% 教學個案中。
因此，研究指出 AI 可透過兩種不同方式影響能力。解釋可能有助用戶理解任務，而直接執行則可能取代原本由用戶完成的工作。對話數據可區分這些互動模式，但無法判斷用戶其後是否保留相關知識。
四、約半數對話出現摩擦
研究人員在 49.7% 對話中偵測到摩擦——某種形式的困難或失效。在這些個案中，38.6% 被歸類為模型引發，包括能力限制、幻覺及拒絕回應。用戶引發的摩擦通常涉及含糊或規格不足的請求，佔 19.4%。
其餘 42% 涉及複合失誤。在這些個案中，不清晰的請求與 Claude 因此作出的錯誤理解互相強化，而非產生單一、孤立的錯誤。
在包含摩擦的對話中，用戶於 78.7% 個案嘗試補救。補救行為包括提供缺失背景、重新表述提示、糾正錯誤、要求澄清，或質疑模型的推理。
並非每次中斷都被歸類為有害。部分摩擦促使用戶澄清目標、更仔細檢視回覆，或完善所要求的輸出。質疑模型推理的做法，在出現該策略的個案中有 81.5% 被歸類為具成效。
不過，「具成效」仍然是一個對話標籤，而非對事實準確性或現實成功的衡量。研究沒有獨立評分 Claude 最終是否提供正確法律建議、安全醫療指引、可運作的軟件，或成功的商業決策。
五、私隱保護亦限制可供審核的內容
Anthropic Insights 的運作方式，是由 Claude 就研究人員撰寫、稱為 facets 的問題，回答每段對話。類別及數值答案會被統計，而開放式答案則可嵌入並分組為群集。外部研究人員收到的是類別描述、數量、百分比及交叉列表，而非底層訊息。
史丹福團隊在 WildChat 測試其問題，這是一個公開對話數據集，讓他們能檢視原始文字。Anthropic 承認，WildChat 所包含的休閒及創意使用多於一般 Claude 流量。一些在 WildChat 表現良好的問題，套用到 Claude 對話時卻產生誤導性類別。
這項限制難以解決，因為研究人員及使用研究系統的一般 Anthropic 員工，都不會閱讀底層對話。Anthropic 指出，問題措辭可改變 Claude 如何為對話分類，而開放式群集描述屬詮釋，並非客觀紀錄。
Clio 系統的原始驗證發現，約 3% 對話未有在其獲分配的主題群集描述中得到清晰呈現。Anthropic 進一步提醒，不應以主題分類的準確性估計，驗證評斷模型行為或用戶情緒狀態的 facets。
樣本亦排除了 Claude 客戶群的重要部分。它包含 Free、Pro 及 Max 方案的消費者對話，但不包括 Team、Enterprise 或 API 流量。史丹福分析的是 Claude.ai 對話而非 Claude Code 工作階段，而數據反映的是 2026 年 4 月及 5 月的單一時期，並非縱向觀察。
Anthropic 在發布前人工覆核匯總輸出。在史丹福的分析中，該公司因私隱、安全、濫用或披露疑慮，遮蓋或移除了 1.9% 的開放式群集，涉及 4.28% 對話。公司告知研究人員其作出的改動，並表示其合約覆核權僅限於私隱、規避使用政策、機密資訊及研究準確性。
倫敦帝國學院研究人員進行的一項私隱審核，未能重新識別任何用戶。然而，審核人員可把一個群集與一個廣泛使用的開源項目聯繫起來，原因是其描述保留了獨特細節。Anthropic 表示計劃提高未來群集所需的最低用戶人數，並減少生成描述中的獨特措辭。
發布的匯總數據集以 CC BY 4.0 授權提供。研究人員可重現已發布表格的分析，或就這些匯總資料提出新問題，但無法獨立檢視來源對話，亦不能直接審核 Claude 的分類。這項試點計劃擴大了由 AI 公司內部完全撰寫的研究以外的取用範圍，但數據選取、運算、私隱覆核及分類系統本身仍由供應商控制。
常見問題
研究是否表示所有 Claude 對話中有 56% 具重要後果？
不是。56% 這個數字適用於包含可採取行動任務、且可被指定重要性級別的對話。完整樣本中約三分之一沒有適用的可採取行動任務。
史丹福研究人員有否閱讀用戶的私人對話？
沒有。原始對話及運算均留在 Anthropic 的伺服器上。研究人員收到的是匯總類別、描述、數量及百分比。
史丹福樣本是否包括 Claude Code？
沒有。史丹福分析的是 Claude.ai 消費者對話。METR 則獲得約 250,000 段 Claude Code 對話的另一項保障私隱分析。
研究是否顯示 Claude 在高風險任務上準確？
沒有。研究衡量的是任務特徵及互動行為，而非 Claude 答案的事實正確性或其後續結果。
研究數據是否公開提供？
Anthropic 以 CC BY 4.0 授權發布匯總群集數據。當中不包括原始對話、用戶識別碼及機構識別碼。
參考來源
Share