MiniMax 发布并开源新一代 MiniMax 01 系列模型，参数量达 4560 亿

MiniMax 于 1 月 15 日宣布推出并开源新一代 MiniMax 01 系列模型，包括基础语言模型 MiniMax-Text-01 和视觉多模态模型 MiniMax-VL-01。该系列模型创新性地使用了线性注意力机制，有效解决了 Transformer 架构中的记忆瓶颈问题，能够处理高达 400 万 token 的输入，是 GPT-4 的 32 倍，Claude-3.5-Sonnet 的 20 倍。据官方介绍，MiniMax 01 系列的参数量达到了惊人的 4560 亿，其中单次激活的参数数量为 459 亿。该模型的综合性能与海外顶尖模型相当，并在多个任务上追平了 GPT-4 和 Claude-3.5-Sonnet，展示了 MiniMax 在大型语言模型技术上的最新突破。