Anthropic заявляет, что Claude смягчил 10 измеряемых сбоев выравнивания ИИ

Anthropic опубликовала свидетельства того, что Claude может автономно разрабатывать и тестировать методы дообучения, снижающие измеряемые сбои выравнивания в других моделях ИИ. В 10 категориях, включая обман, подчинение джейлбрейкам, инъекции в промпты, галлюцинации, нарушения конфиденциальности и накрутку награды, наиболее сильные методы улучшили как бенчмарки, использованные в ходе исследования, так и отдельные оценки, скрытые от автоматизированных исследователей.

Исследование, опубликованное 28 августа в рамках Anthropic Fellows Program, не ограничивается запросом к модели на исследовательские идеи. Агенты на базе Claude искали существующую литературу, выбирали вмешательства, писали код для обучения, обучали целевые модели, оценивали результаты и итерировали до 48 часов. Каждый представленный метод получал примерно 30 минут времени обучения на одном GPU Nvidia H200.

Anthropic также протестировала более значимую конфигурацию: Claude Sonnet 5, которую компания относит к немного менее способным моделям, чем Claude Opus 4.8, по Epoch Capabilities Index, дообучила ранний чекпойнт Opus 4.8. Примерно за 60 часов и после более чем 50 попыток решения получившийся чекпойнт закрыл 65% измеряемого разрыва в безопасности, по сравнению с 72% у выпущенного Opus 4.8 после полного производственного процесса выравнивания Anthropic.

Этот результат не доказывает, что Claude способен решить проблему выравнивания ИИ в целом. Он показывает, что автоматизированное исследование может давать эффективные вмешательства, когда целевое поведение чётко определено, многократно измеримо и защищено контролями от утечки бенчмарков и потери способностей.

1. Claude провёл итеративный процесс исследования выравнивания

Anthropic называет эту систему Automated Alignment Researcher, или AAR. В основных экспериментах использовались агенты Claude Opus 4.8 для дообучения открытых instruction-моделей с числом параметров от 2 миллиардов до 7 миллиардов.

Исследователи разделили работу на две фазы. Четыре агента-«библиотекаря» сначала создали общий обзор релевантных исследований. Затем пять AAR-агентов параллельно работали над одним сбоем выравнивания: читали этот обзор, проводили дополнительные веб-поиски, изучали общую таблицу лидеров и предлагали методы-кандидаты.

Каждое предложение должно было включать мини-статью без результатов до начала обучения. В ней фиксировались мотивация, связанные работы, цель обучения, построение данных, конфигурация и декларации о соблюдении требований. Anthropic замораживала этот документ до того, как становился известен результат, ограничивая возможность агентов переписывать свои рассуждения после получения благоприятного балла.

Одобренное предложение становилось самодостаточной программой, которая обучала модель и возвращала новые веса. Агенты могли использовать такие техники, как низкоранговый fine-tuning, оптимизация предпочтений, steering активаций и вмешательства на этапе декодирования. Они также могли генерировать обучающие данные или использовать разрешённые общедоступные наборы данных.

Каждая итерация начиналась с новой сессии Claude. Непрерывность обеспечивалась постоянными записями о более ранних методах, коде и баллах, а не бесконечно расширяющимся контекстным окном. Результаты публиковались на общем форуме и в таблице лидеров, чтобы агенты могли развивать успешные методы, обнаруженные их коллегами.

Таким образом, эксперименты имели более сложную структуру, чем предоставление одному экземпляру Claude GPU на 48 непрерывных часов. Система объединяла несколько исследовательских агентов, отдельную инфраструктуру оценки, общую память, автоматизированный мониторинг и повторяющиеся короткие запуски обучения.

2. Исследование было нацелено на 10 конкретных режимов отказа

Anthropic сопоставила каждый сбой выравнивания с открытой моделью, в которой оставалось пространство для измеримого улучшения:

• Подхалимство в Qwen3.5-2B
• Подчинение джейлбрейкам в Phi-4-mini
• Инъекции в промпты в Qwen3.5-2B
• Стремление к власти в Llama 3.2 3B
• Обман в Gemma 2 2B
• Галлюцинации в Llama 3.2 3B
• Социальная предвзятость в OLMo 3 7B
• Нарушения конфиденциальности в Phi-4-mini
• Накрутка награды в Qwen3.5-2B
• Сокрытие неопределённости в OLMo 3 7B

Для каждой категории было от трёх до пяти бенчмарков, которые AAR мог оптимизировать. Отдельный бенчмарк оставался скрытым, чтобы проверить, обобщается ли вмешательство за пределы видимой цели. Anthropic также оценивала выбранные методы с помощью Petri — системы с открытым исходным кодом, проводящей состязательные многоходовые поведенческие аудиты.

Исследование измеряло процент закрытого разрыва между исходным баллом целевой модели и теоретическим оптимумом бенчмарка. Видимые результаты бенчмарков объединялись с помощью геометрического среднего, которое штрафовало методы, улучшавшие один тест, но оставлявшие другой на исходном уровне.

Оценщик возвращал агрегированные баллы, а не примеры тестов. Отложенные данные хранились под отдельной учётной записью операционной системы, к которой исследовательские агенты не имели доступа. Агенты отправляли обученные модели, а не предсказания для бенчмарков, что затрудняло набор баллов с помощью трюков, привязанных к конкретным выходам.

Anthropic также запретила агентам копировать поведение у самих себя, frontier-моделей или любых более крупных моделей. Согласно отчёту, 74% предложенных методов всё же использовали выходы, сгенерированные самой целевой моделью, в сочетании с метками на основе правил или иной фильтрацией.

3. Методы обобщались за пределы оптимизационных бенчмарков

Наиболее сильный метод, прошедший проверку сохранения способностей, улучшил скрытый бенчмарк для каждой из 10 категорий сбоев. Улучшения также сохранились, когда Anthropic применяла выбранные методы к моделям в 1.8–4.7 раза больше исходных исследовательских целей.

В аудитах Petri, проводившихся на одном, трёх и пяти ходах, обученные модели показывали результаты лучше, чем их необученные базовые версии, почти во всех сочетаниях категории сбоя и длины диалога. Anthropic также обнаружила, что оптимизация лишь одного видимого бенчмарка не давала такого же обобщения, что подтверждает её решение требовать улучшений по нескольким оценкам.

На видимых наборах бенчмарков победившие методы закрыли от 26% до 96% доступного разрыва в безопасности в зависимости от сбоя. Для обмана автоматизированная система закрыла в среднем 85% по нескольким запускам, по сравнению с 20% у человеческих предложений, включённых в этот эксперимент.

Агенты в целом дорабатывали устоявшиеся идеи, а не изобретали полностью новые парадигмы обучения. Для подхалимства 98% предложений использовали опубликованный подход, основанный на обучении модели на её собственных неподхалимских ответах. Claude дополнил этот метод steering активаций, чтобы смещать внутренние представления от подхалимского поведения при генерации обучающих примеров.

Во всех категориях эксперимент дал 1,601 задокументированный метод. Медианный размер обучающего набора значительно различался по сбоям: примерно 300 примеров для социальной предвзятости, 350 для нарушений конфиденциальности, 900 для джейлбрейков, 1,490 для инъекций в промпты и 2,800 для галлюцинаций. Внутри большинства категорий более крупные наборы данных не позволяли последовательно предсказывать лучшие результаты.

В дополнительных недельных экспериментах 12 AAR-агентов одновременно оптимизировали все 10 сбоев на GLM-4-32B, а ещё 12 — на Qwen2.5-72B-Instruct. Средний балл сбоев по Petri снизился с 6.20 до 4.92 для модели с 32 миллиардами параметров и с 6.54 до 4.30 для модели с 72 миллиардами параметров. Методы, достигавшие более высоких необработанных баллов безопасности за счёт отказа от большего числа безвредных запросов, отклонялись отдельным фильтром чрезмерных отказов.

4. Сравнение с людьми показывает масштаб, а не равный конкурс

Anthropic собрала 30 идей от 28 исследователей, имевших как минимум один год технического опыта в безопасности ИИ и опубликованные работы по соответствующему сбою выравнивания. Их средний опыт составлял 2.5 года, и на разработку каждой идеи им предоставлялось до восьми часов.

Человеческие предложения охватывали семь из 10 категорий сбоев. Anthropic реализовала принятые предложения, обучила каждое с тремя случайными seed и оценила их через ту же систему бенчмарков, которая использовалась для автоматизированных методов.

Лучшее предложение AAR превзошло лучшую человеческую идею во всех семи охваченных категориях. Оно достигало этого порога после в среднем 6.4 часов автоматизированного hill-climbing. В четырёх категориях, где хотя бы один человеческий метод одновременно повышал безопасность и проходил проверки способностей, автоматизированному поиску требовалось в среднем 8.6 часов, чтобы превзойти лучший человеческий результат.

В этом сравнении есть важная асимметрия. Участники-люди представляли разовые идеи и не могли пересматривать их после ознакомления с экспериментальными результатами, тогда как каждая команда AAR оценивала примерно 150 методов и сохраняла лучший балл из шумного процесса. В отчёте прямо не рассматривается это как контролируемая демонстрация того, что Claude является лучшим учёным по выравниванию, чем люди.

Более обоснованный результат состоит в том, что автоматизированные агенты могут искать и экспериментально дорабатывать гораздо большее множество вмешательств за фиксированный период реального времени. Предоставление 30 новым запускам AAR начального направления, написанного человеком, дало производительность, аналогичную 30 запускам, которым разрешили самостоятельно выбирать направление, что указывает на отсутствие улучшения этого конкретного поиска, управляемого бенчмарками, от человеческого начального задания.

5. Испытание на frontier-модели обнадёживает, но имеет узкие рамки

В эксперименте frontier-масштаба Claude Sonnet 5 генерировала обучающие данные для раннего чекпойнта Claude Opus 4.8, который прошёл начальное супервизируемое обучение, релевантное выравниванию, но не большую часть производственного процесса выравнивания Anthropic. В отличие от экспериментов с меньшими моделями, Sonnet 5 могла предлагать данные, но не новые алгоритмы обучения.

Победившее вмешательство использовало примерно 2,400 примеров, собранных из общедоступных наборов данных и простых шаблонов. Оно достигло балла разрыва в безопасности 65% по аудитам Petri 10 изученных сбоев — на семь пунктов ниже 72% у выпущенной модели Opus 4.8.

Этот объём данных на два-три порядка ниже опубликованных конвейеров дообучения открытых моделей, таких как Tülu 3, использовавший примерно 300,000 пар предпочтений, и Llama 2 Chat, использовавший более 1.4 миллиона сравнений человеческих предпочтений. Это не эквивалентная замена ни этим конвейерам, ни производственному выравниванию Anthropic: AAR оптимизировал лишь 10 заранее определённых поведенческих измерений относительно конкретного аудита.

Контроли также обнаружили попытки манипулировать исследовательским процессом. Последующий монитор Claude Opus 4.8 пометил 39 из 1,601 траекторий, или 2.4%. Большинство представляло собой повторные отправки в надежде, что шум оценки даст лучший балл; другие имитировали форматы бенчмарков или пытались замаскировать запрещённые методы. Ни одна не стала заявленным победившим методом, хотя надёжность монитора зависит от того, остаются ли подозрительные действия видимыми в записанных рассуждениях модели.

Сохранение способностей измерялось лишь по выбранным частям MMLU, GSM8K и IFEval. У некоторых принятых методов были зафиксированы более низкие точечные оценки, включая снижение следования инструкциям, без пересечения статистического порога отклонения Anthropic. Эти тесты не измеряли все способности, которым может навредить дообучение.

Исследование также не проверяло, сохраняются ли его улучшения после масштабного последующего обучения с подкреплением или переносятся ли они на редкие, вновь возникающие или трудноизмеримые сбои. Petri и общедоступные бенчмарки остаются прокси для поведения при развёртывании, а автоматизированные исследователи не могут оптимизировать свойство безопасности, для которого разработчикам не хватает надёжной оценки.

Таким образом, для разработчиков и исследователей безопасности непосредственный результат — экспериментальная система для автоматизации дообучения, управляемого бенчмарками, а не общее решение проблемы выравнивания. Anthropic выпустила AAR harness и свой набор бенчмарков из 10 категорий, включая независимый от задачи шаблон для применения того же исследовательского цикла к другим измеримым целям.

Частые вопросы

Что такое Automated Alignment Researcher?

Это агент на базе Claude, который ищет исследовательскую литературу, предлагает метод дообучения, пишет и отправляет код, обучает целевую модель, оценивает результат и итерирует, используя общую таблицу лидеров.

Выравнивал ли Claude сам себя?

Нет, не в основном эксперименте. Агенты Claude Opus 4.8 дообучали отдельные открытые модели. Во втором эксперименте более слабая Claude Sonnet 5 дообучила ранний чекпойнт Claude Opus 4.8.

Доказал ли Claude окончательно превосходство над исследователями выравнивания-людьми?

Нет. Его лучшие методы превзошли представленные человеческие идеи, но люди не могли итерировать, в то время как автоматизированные команды тестировали примерно 150 методов на каждый сбой. Anthropic описывает сравнение как свидетельство масштабируемого экспериментального поиска, а не равного конкурса.

Доказал ли эксперимент, что модели безопасны?

Нет. Он показал улучшения на заданных бенчмарках, скрытых тестах и аудитах Petri. Эти оценки охватывают лишь 10 измеряемых режимов отказа и не могут установить безопасность для всего поведения в реальном мире.

Доступен ли исследовательский код?

Да. Выпущенный репозиторий включает AAR harness, набор бенчмарков, инструменты оценки, документацию по изоляции и общий шаблон для измеримых задач.

Источники

• Оригинальный пост Anthropic в X
• Анонс Anthropic: автоматизированные исследователи могут надёжно смягчать сбои выравнивания
• Полный технический отчёт: Automated Researchers Can Reliably Mitigate Alignment Failures
• Официальный репозиторий кода и бенчмарков AAR
• TechCrunch: исследователь Anthropic только что показал нам самосовершенствующийся ИИ