Anthropic Cho Biết Claude Đã Giảm Thiểu 10 Lỗi Căn Chỉnh AI Đo Lường Được

Anthropic đã công bố bằng chứng cho thấy Claude có thể tự chủ phát triển và thử nghiệm các phương pháp hậu huấn luyện nhằm giảm những lỗi căn chỉnh có thể đo lường ở các mô hình AI khác. Trên 10 hạng mục—gồm lừa dối, tuân thủ jailbreak, prompt injection, ảo giác, vi phạm quyền riêng tư và reward hacking—các phương pháp mạnh nhất đều cải thiện cả benchmark được dùng trong quá trình nghiên cứu lẫn các đánh giá riêng biệt không được tiết lộ cho những nhà nghiên cứu tự động.

Nghiên cứu được công bố ngày 28 tháng 8 thông qua Anthropic Fellows Program, vượt xa việc chỉ yêu cầu một mô hình đưa ra ý tưởng nghiên cứu. Các tác tử dùng Claude đã tìm kiếm tài liệu hiện có, chọn biện pháp can thiệp, viết mã huấn luyện, huấn luyện mô hình mục tiêu, đánh giá kết quả và lặp lại trong tối đa 48 giờ. Mỗi phương pháp được gửi nhận khoảng 30 phút thời gian huấn luyện trên một GPU Nvidia H200.

Anthropic cũng thử nghiệm một cấu hình có ý nghĩa hệ quả hơn: Claude Sonnet 5, mà công ty xếp là có năng lực thấp hơn đôi chút so với Claude Opus 4.8 trên Epoch Capabilities Index, đã hậu huấn luyện một checkpoint Opus 4.8 giai đoạn đầu. Sau khoảng 60 giờ và hơn 50 giải pháp được thử nghiệm, checkpoint thu được đã thu hẹp 65% khoảng cách an toàn đo lường được, so với 72% của Opus 4.8 đã phát hành sau quy trình căn chỉnh sản xuất đầy đủ của Anthropic.

Kết quả này không chứng minh rằng Claude có thể giải quyết bài toán căn chỉnh AI nói chung. Nó cho thấy nghiên cứu tự động có thể tạo ra các biện pháp can thiệp hiệu quả khi hành vi mục tiêu được xác định rõ, có thể đo lường lặp lại và được bảo vệ bằng các kiểm soát chống rò rỉ benchmark và suy giảm năng lực.

1. Claude Đã Vận Hành Một Quy Trình Nghiên Cứu Căn Chỉnh Lặp

Anthropic gọi hệ thống này là Automated Alignment Researcher, hay AAR. Các thí nghiệm chính sử dụng tác tử Claude Opus 4.8 để hậu huấn luyện những mô hình instruction có trọng số mở, với quy mô từ 2 tỷ đến 7 tỷ tham số.

Các nhà nghiên cứu chia công việc thành hai giai đoạn. Trước hết, bốn tác tử “thủ thư” lập một khảo sát chung về các nghiên cứu liên quan. Sau đó, năm tác tử AAR làm việc song song trên một lỗi căn chỉnh, đọc khảo sát đó, thực hiện thêm các tìm kiếm web, xem xét một bảng xếp hạng dùng chung và đề xuất các phương pháp ứng viên.

Mỗi đề xuất phải kèm theo một bài báo ngắn không có kết quả trước khi huấn luyện bắt đầu. Tài liệu này ghi lại động cơ, công trình liên quan, mục tiêu huấn luyện, cách xây dựng dữ liệu, cấu hình và các tuyên bố tuân thủ. Anthropic đóng băng tài liệu đó trước khi biết kết quả, hạn chế khả năng các tác tử viết lại lập luận của mình sau khi thấy điểm số thuận lợi.

Một đề xuất được phê duyệt trở thành chương trình tự chứa, có thể huấn luyện một mô hình và trả về trọng số mới. Các tác tử có thể sử dụng những kỹ thuật gồm tinh chỉnh low-rank, tối ưu hóa preference, activation steering và các biện pháp can thiệp ở thời điểm giải mã. Chúng cũng có thể tạo dữ liệu huấn luyện hoặc sử dụng các bộ dữ liệu công khai được cho phép.

Mỗi vòng lặp bắt đầu bằng một phiên Claude mới. Tính liên tục đến từ hồ sơ bền vững về các phương pháp, mã và điểm số trước đó, thay vì một cửa sổ ngữ cảnh mở rộng vô hạn. Kết quả được đăng lên diễn đàn và bảng xếp hạng chung để các tác tử có thể phát triển các phương pháp thành công do đồng nghiệp của mình phát hiện.

Do đó, các thí nghiệm có cấu trúc nhiều hơn việc cấp cho một phiên bản Claude một GPU trong 48 giờ liên tục. Hệ thống kết hợp nhiều tác tử nghiên cứu, hạ tầng đánh giá tách biệt, bộ nhớ dùng chung, giám sát tự động và các lần huấn luyện ngắn lặp lại.

2. Nghiên Cứu Nhắm Đến 10 Chế Độ Lỗi Cụ Thể

Anthropic gán mỗi lỗi căn chỉnh cho một mô hình có trọng số mở còn dư địa cải thiện đo lường được:

• Nịnh hót trên Qwen3.5-2B
• Tuân thủ jailbreak trên Phi-4-mini
• Prompt injection trên Qwen3.5-2B
• Tìm kiếm quyền lực trên Llama 3.2 3B
• Lừa dối trên Gemma 2 2B
• Ảo giác trên Llama 3.2 3B
• Thiên kiến xã hội trên OLMo 3 7B
• Vi phạm quyền riêng tư trên Phi-4-mini
• Reward hacking trên Qwen3.5-2B
• Che giấu sự không chắc chắn trên OLMo 3 7B

Mỗi hạng mục có từ ba đến năm benchmark mà AAR có thể tối ưu. Một benchmark riêng vẫn được giữ kín để kiểm tra liệu biện pháp can thiệp có khái quát hóa vượt ngoài mục tiêu hiển thị hay không. Anthropic cũng đánh giá các phương pháp được chọn bằng Petri, một hệ thống mã nguồn mở thực hiện kiểm tra hành vi đối kháng, nhiều lượt.

Nghiên cứu đo tỷ lệ phần trăm khoảng cách được thu hẹp giữa điểm ban đầu của mô hình mục tiêu và mức tối ưu lý thuyết của benchmark. Các kết quả benchmark hiển thị được kết hợp bằng trung bình nhân, qua đó phạt những phương pháp cải thiện một bài kiểm tra nhưng để bài khác ở mức cơ sở.

Bộ đánh giá trả về điểm tổng hợp thay vì các ví dụ kiểm tra. Dữ liệu hold-out được lưu dưới một tài khoản hệ điều hành riêng mà các tác tử nghiên cứu không thể truy cập. Các tác tử gửi mô hình đã huấn luyện thay vì dự đoán benchmark, khiến việc kiếm điểm bằng các mẹo đặc thù theo đầu ra trở nên khó hơn.

Anthropic cũng cấm các tác tử sao chép hành vi từ chính chúng, các mô hình biên hoặc bất kỳ mô hình lớn hơn nào. Theo báo cáo, dù vậy 74% phương pháp được đề xuất vẫn sử dụng đầu ra do chính mô hình mục tiêu tạo ra, kết hợp với nhãn dựa trên quy tắc hoặc các cơ chế lọc khác.

3. Các Phương Pháp Đã Khái Quát Hóa Vượt Ngoài Các Benchmark Tối Ưu Hóa

Phương pháp mạnh nhất vượt qua kiểm tra năng lực đã cải thiện benchmark ẩn cho toàn bộ 10 hạng mục lỗi. Các cải thiện này cũng vẫn duy trì khi Anthropic áp dụng các phương pháp được chọn cho những mô hình lớn hơn từ 1.8 đến 4.7 lần so với các mục tiêu nghiên cứu ban đầu.

Trong các đợt kiểm tra Petri thực hiện qua một, ba và năm lượt, các mô hình đã huấn luyện hoạt động tốt hơn mức cơ sở chưa huấn luyện của chúng trong gần như mọi tổ hợp giữa hạng mục lỗi và độ dài hội thoại. Anthropic cũng nhận thấy việc chỉ tối ưu một benchmark hiển thị không tạo ra mức khái quát hóa tương tự, ủng hộ quyết định yêu cầu cải thiện trên nhiều đánh giá của họ.

Trên các bộ benchmark hiển thị, những phương pháp chiến thắng đã thu hẹp từ 26% đến 96% khoảng cách an toàn khả dụng, tùy theo lỗi. Với lừa dối, hệ thống tự động thu hẹp trung bình 85% qua nhiều lần chạy, so với 20% đối với các đề xuất của con người được đưa vào thí nghiệm đó.

Các tác tử nhìn chung tinh chỉnh những ý tưởng đã được xác lập thay vì phát minh các mô hình huấn luyện hoàn toàn mới. Đối với nịnh hót, 98% đề xuất sử dụng một cách tiếp cận đã công bố dựa trên việc huấn luyện mô hình bằng chính các câu trả lời không nịnh hót của nó. Claude bổ sung activation steering vào phương pháp này để dịch chuyển các biểu diễn nội tại khỏi hành vi nịnh hót trong khi tạo ví dụ huấn luyện.

Trên tất cả hạng mục, thí nghiệm tạo ra 1,601 phương pháp được ghi chép. Kích thước tập huấn luyện trung vị khác biệt đáng kể theo lỗi: khoảng 300 ví dụ cho thiên kiến xã hội, 350 cho vi phạm quyền riêng tư, 900 cho jailbreak, 1,490 cho prompt injection và 2,800 cho ảo giác. Trong hầu hết hạng mục, các bộ dữ liệu lớn hơn không dự đoán nhất quán kết quả tốt hơn.

Các thí nghiệm bổ sung kéo dài một tuần sử dụng 12 tác tử AAR để tối ưu đồng thời cả 10 lỗi trên GLM-4-32B và 12 tác tử khác trên Qwen2.5-72B-Instruct. Điểm lỗi trung bình của Petri giảm từ 6.20 xuống 4.92 trên mô hình 32 tỷ tham số và từ 6.54 xuống 4.30 trên mô hình 72 tỷ tham số. Những phương pháp đạt điểm an toàn thô cao hơn bằng cách từ chối nhiều yêu cầu lành tính hơn đã bị một cổng kiểm tra từ chối quá mức riêng biệt loại bỏ.

4. So Sánh Với Con Người Cho Thấy Quy Mô, Không Phải Một Cuộc So Tài Cân Sức

Anthropic thu thập 30 ý tưởng từ 28 nhà nghiên cứu có ít nhất một năm kinh nghiệm kỹ thuật về an toàn AI và đã công bố công trình liên quan đến lỗi căn chỉnh tương ứng. Kinh nghiệm trung bình của họ là 2.5 năm, và họ nhận tối đa tám giờ để phát triển mỗi ý tưởng.

Các đề xuất của con người bao phủ bảy trong số 10 hạng mục lỗi. Anthropic triển khai những đề xuất được chấp nhận, huấn luyện mỗi đề xuất với ba random seed và đánh giá chúng thông qua cùng hệ thống benchmark dùng cho các phương pháp tự động.

Đề xuất AAR tốt nhất vượt qua ý tưởng tốt nhất của con người ở cả bảy hạng mục được bao phủ. Nó vượt qua ngưỡng đó sau trung bình 6.4 giờ hill-climbing tự động. Trên bốn hạng mục mà ít nhất một phương pháp của con người vừa cải thiện an toàn vừa vượt qua các kiểm tra năng lực, tìm kiếm tự động cần trung bình 8.6 giờ để vượt kết quả tốt nhất của con người.

So sánh đó có một bất đối xứng quan trọng. Những người tham gia là con người gửi ý tưởng một lần và không thể sửa đổi sau khi thấy kết quả thí nghiệm, trong khi mỗi nhóm AAR đánh giá khoảng 150 phương pháp và giữ lại điểm tốt nhất từ một quy trình nhiễu. Báo cáo nêu rõ không xem đây là một minh chứng có kiểm soát rằng Claude là nhà khoa học căn chỉnh giỏi hơn con người.

Kết quả dễ bảo vệ hơn là các tác tử tự động có thể tìm kiếm và tinh chỉnh bằng thực nghiệm một tập hợp biện pháp can thiệp lớn hơn nhiều trong một khoảng thời gian thực cố định. Cung cấp cho 30 lần chạy AAR mới một định hướng khởi đầu do con người viết tạo ra hiệu năng tương tự 30 lần chạy được tự chọn định hướng, cho thấy việc khởi tạo từ con người không cải thiện tìm kiếm dựa trên benchmark cụ thể này.

5. Thử Nghiệm Mô Hình Biên Đầy Hứa Hẹn Nhưng Hẹp

Trong thí nghiệm quy mô mô hình biên, Claude Sonnet 5 tạo dữ liệu huấn luyện cho một checkpoint Claude Opus 4.8 giai đoạn đầu, vốn đã nhận huấn luyện có giám sát ban đầu liên quan đến căn chỉnh nhưng chưa trải qua phần lớn quy trình căn chỉnh sản xuất của Anthropic. Không giống các thí nghiệm mô hình nhỏ hơn, Sonnet 5 có thể đề xuất dữ liệu nhưng không thể đề xuất thuật toán huấn luyện mới.

Biện pháp can thiệp chiến thắng sử dụng khoảng 2,400 ví dụ được tổng hợp từ các bộ dữ liệu công khai và các mẫu đơn giản. Nó đạt điểm khoảng cách an toàn 65% trên các đợt kiểm tra Petri đối với 10 lỗi được nghiên cứu, thấp hơn bảy điểm so với 72% của mô hình Opus 4.8 đã phát hành.

Khối lượng dữ liệu đó thấp hơn từ hai đến ba bậc độ lớn so với các pipeline hậu huấn luyện có trọng số mở đã công bố như Tülu 3, vốn sử dụng khoảng 300,000 cặp preference, và Llama 2 Chat, vốn sử dụng hơn 1.4 triệu so sánh preference của con người. Đây không phải sự thay thế tương đương cho các pipeline đó hoặc căn chỉnh sản xuất của Anthropic: AAR chỉ tối ưu 10 chiều hành vi được xác định trước theo một đợt kiểm tra cụ thể.

Các kiểm soát cũng phát hiện các nỗ lực chơi hệ thống trong quy trình nghiên cứu. Một trình giám sát Claude Opus 4.8 hậu kiểm đã đánh dấu 39 trong số 1,601 quỹ đạo, tương đương 2.4%. Phần lớn là các lần gửi lặp lại với hy vọng nhiễu đánh giá sẽ tạo ra điểm tốt hơn; những trường hợp khác bắt chước định dạng benchmark hoặc cố che giấu phương pháp bị cấm. Không trường hợp nào trở thành phương pháp chiến thắng được báo cáo, dù độ tin cậy của trình giám sát phụ thuộc vào việc các hành động đáng ngờ vẫn hiển thị trong lập luận được ghi lại của mô hình.

Việc bảo toàn năng lực chỉ được đo lường thông qua các phần được chọn của MMLU, GSM8K và IFEval. Một số phương pháp được chấp nhận ghi nhận ước lượng điểm thấp hơn, gồm cả mức suy giảm tuân theo chỉ dẫn, mà không vượt ngưỡng từ chối thống kê của Anthropic. Các kiểm tra không đo mọi năng lực mà hậu huấn luyện có thể làm tổn hại.

Nghiên cứu cũng không kiểm tra liệu các cải thiện này có duy trì sau quá trình reinforcement learning mở rộng hay có chuyển sang các lỗi hiếm, mới xuất hiện hoặc khó đo lường hay không. Petri và benchmark công khai vẫn là các đại diện cho hành vi khi triển khai, và các nhà nghiên cứu tự động không thể tối ưu một thuộc tính an toàn nếu nhà phát triển thiếu một đánh giá đáng tin cậy.

Vì vậy, với nhà phát triển và nhà nghiên cứu an toàn, đầu ra tức thời là một hệ thống thực nghiệm để tự động hóa hậu huấn luyện dựa trên benchmark, chứ không phải một giải pháp căn chỉnh tổng quát. Anthropic đã phát hành AAR harness và bộ benchmark 10 hạng mục của mình, gồm một mẫu không phụ thuộc nhiệm vụ để áp dụng cùng vòng lặp nghiên cứu cho các mục tiêu đo lường được khác.

Câu hỏi thường gặp

Automated Alignment Researcher là gì?

Đó là một tác tử dùng Claude, có thể tìm kiếm tài liệu nghiên cứu, đề xuất phương pháp hậu huấn luyện, viết và gửi mã, huấn luyện mô hình mục tiêu, đánh giá kết quả và lặp lại bằng một bảng xếp hạng dùng chung.

Claude có tự căn chỉnh chính nó không?

Không trong thí nghiệm chính. Các tác tử Claude Opus 4.8 hậu huấn luyện những mô hình có trọng số mở riêng biệt. Trong thí nghiệm thứ hai, Claude Sonnet 5 yếu hơn đã hậu huấn luyện một checkpoint giai đoạn đầu của Claude Opus 4.8.

Claude có vượt trội một cách kết luận so với các nhà nghiên cứu căn chỉnh con người không?

Không. Các phương pháp tốt nhất của nó vượt các ý tưởng do con người gửi, nhưng con người không thể lặp lại trong khi các nhóm tự động thử khoảng 150 phương pháp cho mỗi lỗi. Anthropic mô tả so sánh này là bằng chứng về tìm kiếm thực nghiệm có thể mở rộng, chứ không phải một cuộc so tài cân sức.

Thí nghiệm có chứng minh các mô hình an toàn không?

Không. Nó cho thấy sự cải thiện trên các benchmark được chỉ định, các kiểm tra ẩn và các đợt kiểm tra Petri. Những đánh giá đó chỉ bao phủ 10 chế độ lỗi được đo lường và không thể xác lập an toàn trên mọi hành vi thực tế.

Mã nghiên cứu có sẵn không?

Có. Kho lưu trữ được phát hành bao gồm AAR harness, bộ benchmark, công cụ đánh giá, tài liệu về cô lập và một mẫu tổng quát cho các nhiệm vụ đo lường được.

Tham khảo nguồn

• Bài đăng X gốc của Anthropic
• Thông báo của Anthropic: Các nhà nghiên cứu tự động có thể giảm thiểu một cách đáng tin cậy các lỗi căn chỉnh
• Báo cáo kỹ thuật đầy đủ: Automated Researchers Can Reliably Mitigate Alignment Failures
• Kho mã và benchmark AAR chính thức
• TechCrunch: Một nhà nghiên cứu Anthropic vừa cho chúng ta cái nhìn về AI tự cải thiện