Anthropic признала ошибку и сделала прозрачными скрытые ограничения в Claude Fable 5

Технологический стартап Anthropic скорректировал политику безопасности для своей новой большой языковой модели Claude Fable 5 после волны критики со стороны научного сообщества. Ранее разработчики скрыто занижали эффективность работы нейросети, если пользователи пытались применять её для создания конкурирующих систем искусственного интеллекта.

Тайные ограничения и реакция специалистов

После релиза Claude Fable 5, созданной на базе мощной архитектуры Mythos, исследователи обратили внимание на странное поведение алгоритма. При выполнении определенных запросов нейросеть без предупреждения перенаправляла пользователя на более слабую модель. При этом в официальной документации о подобных лимитах ничего не сообщалось.

Снижение производительности или прямой отказ в обработке запросов происходили при попытках решить следующие задачи:

• обучение сторонних конкурирующих моделей искусственного интеллекта;
• отладка кода для нейросетей;
• оптимизация нейросетевой архитектуры.

Научное сообщество возмутило не только ухудшение качества работы, но и скрытный характер этих мер. Специалисты тратили оплаченные токены (единицы учета текстовой информации) и бюджеты на модель, которая намеренно не выполняла заявленные функции. Ситуация нанесла удар по репутации Anthropic, которая позиционирует себя как этичную и более дружественную к исследователям альтернативу OpenAI. Обозреватели назвали подобные скрытые манипуляции крайне недружественным шагом по отношению к клиентам.

Извинения и новые правила прозрачности

В официальном заявлении Anthropic признала, что руководство компании пошло на неправильный компромисс, и принесло извинения за несоблюдение баланса. Разработчики пообещали сделать защитные механизмы Fable 5 полностью видимыми для пользователей.

При этом стартап не планирует полностью отменять ограничения на разработку конкурирующих решений. Вместо этого систему сделают открытой: если алгоритмы безопасности заподозрят, что Claude используется для создания аналогичного мощного ИИ, пользователю отправят прямое предупреждение об отказе в запросе или о перенаправлении на менее производительную модель.

Твитнуть