スタンフォード研究、実行可能なClaudeタスクの56%が重大または高リスクと判明
スタンフォード大学による249,834件のClaudeチャットの分析で、実行可能なタスクの56%が重大または高リスクだったことが判明した。
一、スタンフォードの研究者が実際のClaude会話249,834件を分析
スタンフォード大学がClaude.aiの会話249,834件を調査した結果、分類可能で実行可能な作業を含む会話の56%が、重大または高リスクのタスクに関わっていた。この結果は、ユーザーがすでに、他者に影響を及ぼし、長期的な結果を生み、あるいは元に戻すことが難しい作業にAIを取り入れていることを示している。
論文「Human–AI Collaboration at Scale: Task Criticality, Agency, and Friction Across 250,000 Conversations」は、2026年8月21日に投稿された。著者であるYijia Shao、Dora Zhao、Vishakh Padmakumar、Jennifer Wang、Diyi Yangは、スタンフォード大学のSocial and Language Technologies Labに所属している。
Anthropicは8月26日にこの研究パートナーシップを発表した。これは、以前はClioと呼ばれていた、プライバシーを保護する利用分析システムAnthropic Insightsを通じて実施された3件のパイロット研究の一つである。スタンフォード大学は人間とAIの協働を研究し、オックスフォード大学のHuman Information Processing LabはClaudeとの対話中におけるユーザー体験を調査し、非営利団体METRはClaude Codeセッションにおける生産性の分析を開始した。
各グループは独自に研究課題を設計した。Anthropicは承認済みの分析を自社サーバー上で実行し、会話の文字起こしではなく集計結果を研究者に提供した。スタンフォード大学の論文は、このパイロットから最初に完成した研究報告である。
56%という数値には、分母に関する重要な限定が必要である。これは、研究者が実行可能なタスクを特定し、重要度の階層を割り当てられた会話に適用される。コーパス全体の約3分の1には、該当する実行可能なタスクがなかった。したがって、この結果を、Claudeの全会話の56%が重大であることの証拠と解釈すべきではない。
二、法務・金融ガイダンスが最も高いタスク重要度を示した
研究者らは実行可能なタスクを、一時的、業務的、重大、高リスクの4階層に分類した。この評価では、可逆性、作業が他者に影響するかどうか、その影響がどの程度深刻になり得るかなどの要素を考慮した。
実行可能なタスクのうち、20%は一時的、24%は業務的、44%は重大、12%は高リスクに分類された。後者2階層を合わせると、報告された56%となる。
「重大」な作業は、「他者に影響を及ぼす、または元に戻すことが難しい」作業と定義された。高リスク階層には、職業上、法的、金融上、健康上、または制度上の結果が深刻になり得るタスクが含まれた。
法務・金融ガイダンスは、論文の0から3までのTask Criticality Indexで最も高く、2.14を記録した。この領域の会話の約24%は高リスクに分類された。基礎となるカテゴリーには、契約書作成、雇用・移民に関する質問、税務計画、投資分析、その他の専門的ガイダンスが含まれた。
ビジネス支援は1.75、キャリア支援は1.70だった。ソフトウェア開発は1.37、AI・データタスクは1.32を記録した。学術課題は1.06と低かった。これらの比較は、この分類が単なる技術的複雑性の尺度ではないことを示している。外部的な結果を伴う助言タスクは、技術的に要求の高い多くの活動より高いスコアを受けた。
リスクが高まるにつれ、ユーザーは行動も変化させた。高リスクの会話は平均12.4ターンで、一時的な作業の6.5ターンと比べて長かった。重要度が上がるにつれて、ユーザーはより具体的な表現を用い、文脈を段階的に追加した。
ただし、タスク分解は最高階層で増え続けなかった。ユーザーはより正確になったが、高リスクの問題を一貫してさらに小さな手順へ分割したわけではなかった。この違いは重要である。会話が長いことは関与の深さを反映し得るが、必ずしも信頼できるレビュー工程を提供するわけではないためだ。
三、人間が通常は主導したが、監督の度合いは異なった
本研究では、AI主導の自動化から人間の関与が不可欠な作業までを対象とする5段階のHuman Agency Scaleを使用した。該当する会話の72%は、「人間が主導し、AIが支援する」と分類された。つまり、ユーザーが方向性を定め、主たる責任を保持しつつ、Claudeがタスクの完了を支援していた。
この結果は、全面的な委任を主とするAI利用モデルとは異なる。サンプル中の大半のユーザーは、目標全体をClaudeに単に渡し、最初の回答を受け入れていたわけではない。
研究者らは、Claudeの出力を人々がどのように扱ったかも別途分類した。利用可能なモードには、直接利用、理解、適応、批評、拒否が含まれた。適応、すなわち利用前に回答を修正する行動が最も一般的で、該当する重大タスク会話の約60%を占めた。タスク重要度が高まるにつれて、修正しない直接利用は減少した。
高リスクの作業では、ユーザーは出力を完成品として扱うよりも、理解しようとする傾向が強かった。このパターンはより大きな慎重さを示唆するが、ユーザーがClaudeの主張を検証した、あるいはエラーを特定するのに十分な領域知識を持っていたことを確立するものではない。人間による主導と有効な監督は、同等の測定ではない。
Claudeは会話の67%で、何らかの形の積極的な教育も行っていた。教育は正式な学習にとどまらなかった。ソフトウェア開発と健康・ライフスタイルに関する質問は、それぞれこれらの対話の約18%を占め、ビジネスは12%を占めた。手順的な指示と概念的な説明を組み合わせる混合型の教育手法が最も一般的で、教育事例の61%に現れた。
したがって本研究は、AIが能力に影響し得る二つの異なる方法を示している。説明はユーザーがタスクを理解する助けになり得る一方、直接的な実行は、ユーザーがそうでなければ自ら行う作業を代替し得る。会話データはこうした対話パターンを区別できるが、ユーザーがその後に知識を保持したかどうかは判断できない。
四、摩擦は会話のおよそ半数で生じた
研究者らは、何らかの困難または破綻である摩擦を、会話の49.7%で検出した。これらの事例のうち38.6%は、能力上の制約、ハルシネーション、拒否を含むモデル起点のものに分類された。一般に曖昧または仕様が不十分な要求を伴うユーザー起点の摩擦は19.4%を占めた。
残りの42%は、失敗が複合した事例だった。これらの事例では、不明確な要求と、それに起因するClaudeの誤解が、単一で孤立した誤りを生むのではなく、互いに増幅し合った。
ユーザーは、摩擦を含む会話の78.7%で回復を試みた。回復行動には、不足している文脈の提供、プロンプトの言い換え、エラーの修正、明確化の要求、モデルの推論への異議申し立てが含まれた。
すべての中断が有害と分類されたわけではない。一部の摩擦は、ユーザーに目標の明確化、回答のより綿密な確認、要求する出力の洗練を促した。モデルの推論への異議申し立ては、この戦略が見られた事例の81.5%で生産的と分類された。
それでも「生産的」は会話上のラベルであり、事実の正確性や現実世界での成功の測定ではない。本研究は、Claudeが最終的に正しい法的助言、安全な医療ガイダンス、動作するソフトウェア、または成功するビジネス上の意思決定を生み出したかどうかを独立して評価していない。
五、プライバシー保護は監査可能な範囲も制限する
Anthropic Insightsは、会話ごとに、研究者が作成した「ファセット」と呼ばれる質問へClaudeが回答する仕組みで機能する。カテゴリー形式および数値形式の回答は集計され、自由記述の回答は埋め込み処理され、クラスターにグループ化できる。外部研究者が受け取るのは、元のメッセージではなく、カテゴリーの説明、件数、割合、クロス集計である。
スタンフォードのチームは、元のテキストを確認できる公開会話データセットWildChatで質問をテストした。Anthropicは、WildChatには通常のClaudeトラフィックよりもカジュアルかつ創造的な利用が多く含まれることを認めている。WildChatで良好に機能した一部の質問は、Claude会話に適用した際には誤解を招くカテゴリーを生み出した。
この制約の解消は難しい。研究者も、研究システムを利用する一般のAnthropic従業員も、元の会話を読まないためである。Anthropicは、質問の文言がClaudeによる会話の分類を変え得ること、また自由記述のクラスター説明は客観的な記録ではなく解釈であることを指摘している。
Clioシステムの初期検証では、会話の約3%が、割り当てられたトピッククラスターの説明によって明確には表現されていないことが判明した。Anthropicはさらに、トピック分類の精度推定を、モデルの行動やユーザーの感情状態を判断するファセットの検証に用いるべきではないと注意を促している。
このサンプルは、Claudeの顧客基盤の大きな部分も除外している。Free、Pro、Maxプランの消費者会話は含まれるが、Team、Enterprise、APIのトラフィックは含まれない。スタンフォード大学が分析したのはClaude CodeセッションではなくClaude.aiの会話であり、データは縦断的な視点ではなく、2026年4月と5月の単一期間を表している。
Anthropicは公開前に集計出力を手作業でレビューした。スタンフォード大学の実行では、プライバシー、安全性、悪用、または開示に関する懸念から、自由記述クラスターの1.9%を編集または削除した。これは会話の4.28%に相当する。同社は研究者に変更内容を伝え、契約上のレビュー権限は、プライバシー、利用ポリシー回避、機密情報、研究の正確性に限定されていたと述べた。
インペリアル・カレッジ・ロンドンの研究者が実施したプライバシー監査では、ユーザーを再識別した例はなかった。しかし監査担当者は、その説明に特徴的な詳細が保持されていたため、一つのクラスターを広く利用されているオープンソースプロジェクトに結び付けることができた。Anthropicは、今後のクラスターに必要な最小ユーザー数を増やし、生成される説明に含まれる特徴的な表現を減らす計画だと述べた。
公開された集計データセットは、CC BY 4.0ライセンスで利用できる。研究者は、公開済みの表の分析を再現したり、それらの集計値に対して新たな質問を行ったりできるが、元の会話を独自に確認したり、Claudeの分類を直接監査したりすることはできない。このパイロットは、AI企業の内部だけで作成される研究を超えてアクセスを拡大する一方で、データ選定、計算、プライバシーレビュー、分類システム自体の管理をプロバイダーに委ねたままである。
よくある質問
この研究は、すべてのClaude会話の56%が重大だと述べているのですか？
いいえ。56%という数値は、重要度の階層を割り当てられる実行可能なタスクを含む会話に適用される。サンプル全体の約3分の1には、該当する実行可能なタスクがなかった。
スタンフォードの研究者はユーザーの私的な会話を読みましたか？
いいえ。生の会話と計算処理はAnthropicのサーバー上に残された。研究者が受け取ったのは、集計されたカテゴリー、説明、件数、割合である。
スタンフォードのサンプルにはClaude Codeが含まれていましたか？
いいえ。スタンフォード大学が分析したのはClaude.aiの消費者会話である。METRは約25万件のClaude Code会話について、別のプライバシー保護分析を受け取った。
この研究は、Claudeが高リスクのタスクで正確であることを示していますか？
いいえ。測定したのはタスクの特性と対話行動であり、Claudeの回答の事実的な正確性や、その下流の結果ではない。
研究データは公開されていますか？
Anthropicは、集計クラスターのデータをCC BY 4.0ライセンスで公開した。生の会話、ユーザー識別子、組織識別子は含まれていない。
参考ソース
Share