LLamjinLab
Tin tức AISố chữ 5454Thời gian đọc≈ 14 phút

Nghiên cứu Stanford phát hiện 56% tác vụ Claude có thể thực hiện là có hệ quả hoặc rủi ro cao

Một phân tích của Stanford về 249.834 cuộc trò chuyện Claude cho thấy 56% tác vụ có thể thực hiện là có hệ quả hoặc rủi ro cao.

AILLMClaudeAnthropic

1. Các nhà nghiên cứu Stanford đã phân tích 249.834 cuộc trò chuyện Claude thực tế

Một nghiên cứu của Đại học Stanford về 249.834 cuộc trò chuyện Claude.ai phát hiện rằng 56% các cuộc trò chuyện có chứa công việc có thể phân loại và thực hiện được liên quan đến những tác vụ có hệ quả hoặc rủi ro cao. Phát hiện này cho thấy người dùng đã đưa AI vào những công việc có thể ảnh hưởng đến người khác, tạo ra hậu quả lâu dài hoặc khó đảo ngược.

Bài báo “Human–AI Collaboration at Scale: Task Criticality, Agency, and Friction Across 250,000 Conversations” được nộp vào ngày 21 tháng 8 năm 2026. Các tác giả—Yijia Shao, Dora Zhao, Vishakh Padmakumar, Jennifer Wang và Diyi Yang—thuộc Social and Language Technologies Lab của Stanford.

Anthropic công bố quan hệ hợp tác nghiên cứu này vào ngày 26 tháng 8. Đây là một trong ba nghiên cứu thí điểm được thực hiện thông qua Anthropic Insights, hệ thống phân tích việc sử dụng bảo vệ quyền riêng tư trước đây có tên Clio. Stanford nghiên cứu cộng tác giữa người và AI, Human Information Processing Lab của Đại học Oxford xem xét trải nghiệm của người dùng khi tương tác với Claude, còn tổ chức phi lợi nhuận METR bắt đầu phân tích năng suất trong các phiên Claude Code.

Mỗi nhóm tự thiết kế câu hỏi nghiên cứu của mình. Anthropic thực hiện các phân tích đã được phê duyệt trên máy chủ của mình và cung cấp cho các nhà nghiên cứu kết quả tổng hợp thay vì bản chép lại cuộc trò chuyện. Bài báo của Stanford là bản báo cáo nghiên cứu hoàn chỉnh đầu tiên từ chương trình thí điểm này.

Con số 56% cần được hiểu kèm một điều kiện quan trọng về mẫu số. Nó áp dụng cho các cuộc trò chuyện mà nhà nghiên cứu xác định được một tác vụ có thể thực hiện và có thể gán một cấp độ hệ trọng. Khoảng một phần ba toàn bộ tập dữ liệu không có tác vụ có thể thực hiện phù hợp. Vì vậy, kết quả này không nên được hiểu là bằng chứng rằng 56% mọi cuộc trò chuyện Claude đều có hệ quả.

2. Tư vấn pháp lý và tài chính có mức độ hệ trọng của tác vụ cao nhất

Các nhà nghiên cứu phân loại tác vụ có thể thực hiện thành bốn cấp: nhất thời, vận hành, có hệ quả và rủi ro cao. Việc đánh giá xem xét các yếu tố gồm khả năng đảo ngược, liệu công việc có ảnh hưởng đến người khác hay không và mức độ nghiêm trọng tiềm tàng của tác động.

Trong số các tác vụ có thể thực hiện, 20% được phân loại là nhất thời, 24% là vận hành, 44% là có hệ quả và 12% là rủi ro cao. Gộp hai cấp cuối cho ra con số 56% được báo cáo.

Công việc “có hệ quả” được định nghĩa là công việc “ảnh hưởng đến người khác hoặc khó hoàn tác”. Cấp rủi ro cao bao gồm các tác vụ có hậu quả nghiêm trọng tiềm tàng về nghề nghiệp, pháp lý, tài chính, sức khỏe hoặc thể chế.

Tư vấn pháp lý và tài chính xếp hạng cao nhất trên Chỉ số Hệ trọng Tác vụ từ 0 đến 3 của bài báo, đạt 2,14. Khoảng 24% các cuộc trò chuyện trong lĩnh vực này được phân loại là rủi ro cao. Các hạng mục nền tảng bao gồm soạn thảo hợp đồng, câu hỏi về việc làm và nhập cư, hoạch định thuế, phân tích đầu tư và các tư vấn chuyên môn khác.

Hỗ trợ kinh doanh đạt 1,75 và hỗ trợ nghề nghiệp đạt 1,70. Phát triển phần mềm đạt 1,37, trong khi các tác vụ AI và dữ liệu đạt 1,32. Bài tập học thuật thấp hơn, ở mức 1,06. Những so sánh này cho thấy việc phân loại không chỉ đơn giản là thước đo độ phức tạp kỹ thuật: các tác vụ tư vấn có hệ quả bên ngoài nhận điểm cao hơn nhiều hoạt động đòi hỏi kỹ thuật cao.

Người dùng cũng thay đổi hành vi khi mức độ rủi ro tăng lên. Các cuộc trò chuyện rủi ro cao trung bình có 12,4 lượt trao đổi, so với 6,5 lượt đối với công việc nhất thời. Người dùng sử dụng ngôn ngữ cụ thể hơn và bổ sung ngữ cảnh dần dần khi mức độ hệ trọng tăng.

Tuy nhiên, việc phân rã tác vụ không tiếp tục tăng ở cấp cao nhất. Người dùng trở nên chính xác hơn nhưng không nhất quán chia các vấn đề rủi ro cao thành những bước ngày càng nhỏ. Sự khác biệt này quan trọng vì một cuộc trò chuyện dài hơn có thể phản ánh mức độ tham gia cao hơn mà không nhất thiết tạo ra một quy trình rà soát đáng tin cậy.

3. Con người thường dẫn dắt, nhưng mức độ giám sát khác nhau

Nghiên cứu sử dụng Thang đo Quyền chủ động của Con người gồm năm cấp, từ tự động hóa do AI dẫn dắt đến công việc mà sự tham gia của con người là thiết yếu. Nghiên cứu phân loại 72% các cuộc trò chuyện phù hợp là “con người dẫn dắt, AI hỗ trợ”: người dùng thiết lập định hướng và giữ trách nhiệm chính, trong khi Claude hỗ trợ hoàn thành tác vụ.

Phát hiện này khác với mô hình sử dụng AI chủ yếu dựa trên ủy thác hoàn toàn. Phần lớn người dùng trong mẫu không chỉ giao toàn bộ mục tiêu cho Claude rồi chấp nhận câu trả lời đầu tiên.

Các nhà nghiên cứu cũng phân loại riêng cách mọi người xử lý đầu ra của Claude. Các phương thức gồm sử dụng trực tiếp, hiểu, điều chỉnh, phê bình và từ chối. Điều chỉnh—sửa đổi phản hồi trước khi sử dụng—là hành vi phổ biến nhất và chiếm khoảng 60% các cuộc trò chuyện về tác vụ có hệ quả phù hợp. Việc sử dụng trực tiếp, không chỉnh sửa giảm khi mức độ hệ trọng của tác vụ tăng.

Đối với công việc rủi ro cao, người dùng thường cố gắng hiểu đầu ra hơn là coi nó như một sản phẩm đã hoàn thiện. Mô hình này cho thấy sự thận trọng cao hơn, nhưng không chứng minh rằng người dùng đã xác minh các khẳng định của Claude hoặc có đủ kiến thức chuyên môn để nhận ra lỗi. Sự dẫn dắt của con người và giám sát hiệu quả không phải là các phép đo tương đương.

Claude cũng thể hiện một hình thức giảng dạy chủ động trong 67% cuộc trò chuyện. Việc giảng dạy vượt ra ngoài giáo dục chính quy: phát triển phần mềm và các câu hỏi về sức khỏe hoặc lối sống mỗi loại chiếm khoảng 18% các tương tác này, trong khi kinh doanh chiếm 12%. Phương pháp giảng dạy kết hợp—kết hợp hướng dẫn theo quy trình với giải thích khái niệm—là cách tiếp cận phổ biến nhất, xuất hiện trong 61% trường hợp giảng dạy.

Do đó, nghiên cứu xác định hai cách khác nhau AI có thể ảnh hưởng đến năng lực. Giải thích có thể giúp người dùng hiểu một tác vụ, trong khi thực hiện trực tiếp có thể thay thế công việc mà người dùng lẽ ra phải tự làm. Dữ liệu cuộc trò chuyện có thể phân biệt các mô hình tương tác này, nhưng không thể xác định liệu người dùng có giữ lại kiến thức sau đó hay không.

4. Ma sát xuất hiện trong khoảng một nửa số cuộc trò chuyện

Các nhà nghiên cứu phát hiện ma sát—một dạng khó khăn hoặc đổ vỡ nào đó—trong 49,7% cuộc trò chuyện. Trong số các trường hợp đó, 38,6% được phân loại là do mô hình khởi phát, bao gồm các giới hạn năng lực, ảo giác và từ chối. Ma sát do người dùng khởi phát, thường liên quan đến các yêu cầu mơ hồ hoặc thiếu đặc tả, chiếm 19,4%.

42% còn lại liên quan đến các thất bại chồng chất. Trong những trường hợp này, một yêu cầu không rõ ràng và sự diễn giải sai của Claude củng cố lẫn nhau thay vì tạo ra một lỗi đơn lẻ, cô lập.

Người dùng cố gắng khắc phục trong 78,7% các cuộc trò chuyện có ma sát. Các hành vi khắc phục gồm cung cấp ngữ cảnh còn thiếu, diễn đạt lại prompt, sửa lỗi, yêu cầu làm rõ hoặc chất vấn lập luận của mô hình.

Không phải mọi gián đoạn đều được phân loại là có hại. Một số ma sát khiến người dùng làm rõ mục tiêu, xem xét phản hồi kỹ hơn hoặc tinh chỉnh đầu ra được yêu cầu. Những thách thức đối với lập luận của mô hình được phân loại là có ích trong 81,5% các trường hợp xuất hiện chiến lược này.

Tuy vậy, “có ích” là một nhãn về hội thoại, không phải phép đo độ chính xác thực tế hoặc thành công trong thế giới thực. Nghiên cứu không chấm điểm độc lập liệu Claude cuối cùng có đưa ra tư vấn pháp lý đúng, hướng dẫn y tế an toàn, phần mềm hoạt động được hay quyết định kinh doanh thành công hay không.

5. Bảo vệ quyền riêng tư cũng hạn chế những gì có thể kiểm toán

Anthropic Insights hoạt động bằng cách để Claude trả lời các câu hỏi do nhà nghiên cứu viết—được gọi là facets—về từng cuộc trò chuyện. Câu trả lời dạng phân loại và số liệu được tổng hợp, trong khi câu trả lời mở có thể được nhúng và nhóm thành các cụm. Các nhà nghiên cứu bên ngoài nhận được mô tả hạng mục, số lượng, tỷ lệ phần trăm và bảng chéo, chứ không nhận được các tin nhắn nền tảng.

Nhóm Stanford thử nghiệm các câu hỏi của mình trên WildChat, một bộ dữ liệu hội thoại công khai mà họ có thể kiểm tra văn bản gốc. Anthropic thừa nhận WildChat có nhiều cách sử dụng thông thường và sáng tạo hơn lưu lượng Claude thông thường. Một số câu hỏi hoạt động tốt trên WildChat lại tạo ra các hạng mục gây hiểu lầm khi áp dụng cho các cuộc trò chuyện Claude.

Hạn chế này khó giải quyết vì cả các nhà nghiên cứu lẫn nhân viên Anthropic thông thường sử dụng hệ thống nghiên cứu đều không đọc các cuộc trò chuyện nền tảng. Anthropic lưu ý rằng cách diễn đạt câu hỏi có thể thay đổi cách Claude phân loại một cuộc trò chuyện và mô tả cụm mở là các diễn giải chứ không phải bản ghi khách quan.

Việc xác thực ban đầu hệ thống Clio phát hiện khoảng 3% cuộc trò chuyện không được thể hiện rõ ràng bởi mô tả cụm chủ đề được gán cho chúng. Anthropic cũng cảnh báo rằng các ước tính độ chính xác cho việc phân loại chủ đề không nên được dùng để xác thực các facets đánh giá hành vi của mô hình hoặc trạng thái cảm xúc của người dùng.

Mẫu này cũng loại trừ các phần lớn trong cơ sở khách hàng của Claude. Nó bao gồm các cuộc trò chuyện của người dùng cá nhân từ gói Free, Pro và Max, nhưng không có lưu lượng Team, Enterprise hoặc API. Stanford phân tích các cuộc trò chuyện Claude.ai thay vì các phiên Claude Code, và dữ liệu đại diện cho một giai đoạn duy nhất trong tháng 4 và tháng 5 năm 2026 thay vì góc nhìn theo thời gian dài.

Anthropic đã rà soát thủ công các đầu ra tổng hợp trước khi công bố. Trong lần chạy của Stanford, công ty đã che hoặc xóa 1,9% các cụm mở, chiếm 4,28% cuộc trò chuyện, vì các lo ngại về quyền riêng tư, an toàn, lạm dụng hoặc tiết lộ thông tin. Công ty cho các nhà nghiên cứu biết những gì đã thay đổi và cho biết quyền rà soát theo hợp đồng của họ bị giới hạn ở quyền riêng tư, né tránh chính sách sử dụng, thông tin mật và độ chính xác của nghiên cứu.

Một cuộc kiểm toán quyền riêng tư do các nhà nghiên cứu tại Imperial College London thực hiện không tái nhận diện được bất kỳ người dùng nào. Tuy nhiên, các kiểm toán viên có thể liên kết một cụm với một dự án mã nguồn mở được sử dụng rộng rãi vì mô tả của nó giữ lại các chi tiết đặc trưng. Anthropic cho biết họ dự định tăng số lượng người dùng tối thiểu cần thiết cho các cụm trong tương lai và giảm cách diễn đạt đặc trưng trong các mô tả được tạo.

Bộ dữ liệu tổng hợp được công bố có sẵn theo giấy phép CC BY 4.0. Các nhà nghiên cứu có thể tái lập các phân tích về các bảng đã xuất bản hoặc đặt câu hỏi mới về những dữ liệu tổng hợp đó, nhưng không thể tự kiểm tra các cuộc trò chuyện nguồn hoặc trực tiếp kiểm toán các phân loại của Claude. Chương trình thí điểm mở rộng quyền tiếp cận vượt ra ngoài nghiên cứu được viết hoàn toàn bên trong một công ty AI, đồng thời vẫn để nhà cung cấp kiểm soát việc chọn dữ liệu, tính toán, rà soát quyền riêng tư và chính hệ thống phân loại.

Câu hỏi thường gặp

Nghiên cứu có nói 56% tất cả cuộc trò chuyện Claude là có hệ quả không?

Không. Con số 56% áp dụng cho các cuộc trò chuyện có chứa một tác vụ có thể thực hiện và có thể được gán cấp độ hệ trọng. Khoảng một phần ba toàn bộ mẫu không có tác vụ có thể thực hiện phù hợp.

Các nhà nghiên cứu Stanford có đọc các cuộc trò chuyện riêng tư của người dùng không?

Không. Các cuộc trò chuyện thô và quá trình tính toán vẫn nằm trên máy chủ của Anthropic. Các nhà nghiên cứu nhận được hạng mục, mô tả, số lượng và tỷ lệ phần trăm tổng hợp.

Mẫu Stanford có bao gồm Claude Code không?

Không. Stanford phân tích các cuộc trò chuyện Claude.ai của người dùng cá nhân. METR nhận được một phân tích bảo vệ quyền riêng tư riêng biệt về khoảng 250.000 cuộc trò chuyện Claude Code.

Nghiên cứu có cho thấy Claude chính xác trong các tác vụ rủi ro cao không?

Không. Nghiên cứu đo lường đặc điểm tác vụ và hành vi tương tác, không đo lường tính chính xác thực tế của câu trả lời Claude hoặc kết quả về sau của chúng.

Dữ liệu nghiên cứu có được công khai không?

Anthropic đã phát hành dữ liệu cụm tổng hợp theo giấy phép CC BY 4.0. Các cuộc trò chuyện thô, mã định danh người dùng và mã định danh tổ chức không được bao gồm.

Tham khảo nguồn

Share

Chia sẻ bài viết