MiniMax раскрывает архитектуру моделей M2 и анонсирует 15-кратное ускорение в новой серии M3

Китайская технологическая лаборатория MiniMax, один из ключевых игроков на рынке искусственного интеллекта, опубликовала подробный технический отчет о разработке своей флагманской серии языковых моделей M2. Одновременно с этим компания представила инновационную архитектуру для будущей серии M3, которая обещает радикальное повышение производительности при обработке сверхдлинных текстов.

Архитектура серии M2 и баланс производительности

В основе моделей M2, M2.5 и M2.7 лежит архитектура Mixture-of-Experts (MoE) — «смесь экспертов». Общий объем параметров системы составляет 229,9 миллиарда, однако для обработки каждого отдельного токена задействуется лишь 9,8 миллиарда параметров, распределенных между 256 специализированными экспертными блоками. Такой подход позволяет минимизировать вычислительные затраты без потери качества ответов.

Ключевым инженерным решением в серии M2 стало использование полного «квадратичного» механизма внимания (Attention) на всех 62 слоях нейросети. В современных нейросетях этот механизм отвечает за способность модели связывать слова друг с другом. Квадратичное масштабирование означает, что при увеличении длины текста вычислительная нагрузка растет в геометрической прогрессии. Несмотря на высокую стоимость такой обработки, инженеры MiniMax сознательно выбрали этот путь, чтобы сохранить способность модели к сложным логическим рассуждениям в больших документах.

Новая технология MiniMax Sparse Attention в серии M3

При разработке следующего поколения моделей — M3 — компания перешла к использованию «разреженного внимания» (MiniMax Sparse Attention или MSA). Это позволило преодолеть аппаратные ограничения, характерные для предыдущих версий. По данным технических тестов, новая архитектура демонстрирует впечатляющие показатели скорости:

• Ускорение фазы предварительной обработки данных (чтения контекста) в 9,7 раза.
• Ускорение фазы декодирования (генерации ответа) в 15,6 раза при работе с контекстом объемом до 1 миллиона токенов.

Ускорение на этапе декодирования считается критически важным для ИИ-агентов. В процессе генерации текста модели приходится многократно анализировать весь предшествующий контекст перед написанием каждого нового слова. Технология MSA устраняет задержки, из-за которых чат-боты часто начинают работать медленнее при ведении длинных диалогов, что делает развертывание сложных ИИ-помощников экономически выгодным.

Система Forge и потенциал самообучения

Для подготовки моделей MiniMax использует собственную платформу обучения с подкреплением под названием Forge. Она оптимизирует процесс тренировки за счет исключения избыточных вычислений. С помощью этой системы была создана модель M2.7, которая фактически выполняет роль автономного инженера по машинному обучению.

В обзоре отмечаются следующие возможности модели M2.7:

• Самостоятельная диагностика ошибок в программном коде и анализ лог-файлов.
• Автоматическая модификация собственных конфигураций для улучшения производительности.
• Выполнение от 30% до 50% задач в рамках собственного рабочего цикла разработки.

На специализированных тестах MLE Bench Lite, проверяющих способности ИИ к автономным исследованиям, модель M2.7 показала результат в 66,6%, что ставит её в один ряд с наиболее продвинутыми закрытыми моделями от ведущих мировых лабораторий, таких как Google. По мнению экспертов MiniMax, развитие серий M2 и M3 открывает практически неограниченные возможности для интеграции ИИ-агентов в реальные экономические процессы.

Твитнуть