开放检查点与运行配置
- 机制
- MoE Transformer 与感知编码器，原生多模态输入、文字输出。
- 条件／配置
- 816B 总参数／42B 激活；推理上下文 1M；作者评测采用 xhigh。
- 报告结果
- 可自托管或使用第三方API。
- 局限
- 激活参数不是显存要求；量化、框架和许可另核。
Muse Spark Open Model Card · release 2026-10-15 · Model Overview; Model Access and Best Practices
Muse Spark Open：开放模型的成绩，怎样才算可比较？
主流开放模型的Agent评测与采用边界
Muse Spark Open提供可自托管的多模态检查点；判断是否适合采用，应同时看任务／计分、成绩出处、硬件与许可，不把排行榜或局部加速当成业务保证。
作者评测未复现；报告月份精度保留。MCP本行split分母未明确，第三方框架不同，完整安全报告待发布。
本次变化：首次整理所有者选中的Muse Spark Open材料：四结论、同号论述和三张原创重绘；与Muse Wonder保持独立问题与入口。
方法、实验与证据
每行成绩先确认出处与框架
- 机制
- 评测方法分别记录内部运行、官方榜单和提供方自报。
- 条件／配置
- AA 指数取 2026-10-07；编程任务采用不同首选Agent框架。
- 报告结果
- 缺值保留缺值，不补零；不同来源不等同统一实跑。
- 局限
- 未针对第三方模型逐一优化，不能把差距全部归因于权重。
Muse Spark Open Evaluation Methodology · October 2026 · pp1-2 Overall Methodology; p4 Coding
GUI子集的平均奖励
- 机制
- 只允许截图与GUI操作，按最终虚拟机状态给奖励。
- 条件／配置
- 361 任务、排除Google Drive、每题 4 次、最多 200 步。
- 报告结果
- 模型卡报告 80.4；是平均奖励的百分制展示。
- 局限
- 不是任意电脑任务的成功概率；Kimi为自报，坐标约定也不同。
OSWorld-Verified：80.4 mean task reward × 100 · 比较基线 Inkling 40.1 in card; Kimi K3 84.8 self-reported · 361-task subset; 4 attempts; 200-step cap; native coordinate formats; not a model-only controlled comparison
Muse Spark Open Evaluation Methodology · October 2026 · p3 OSWorld-Verified
Muse Spark Open Model Card · release 2026-10-15 · Benchmarks, OSWorld Verified row
MCP任务按覆盖阈值判通过
- 机制
- 每项声明记 0／0.5／1，平均覆盖至少 0.75 才算任务通过。
- 条件／配置
- 基准含 1000 任务、公开／私有各 500，36 个服务与 220 工具。
- 报告结果
- 模型卡给出 89.2% 任务通过率。
- 局限
- 本文件未单独明确该成绩所用split的分母，不把 1000 当已确认分母。
MCP-Atlas：89.2 task pass rate (%) · 比较基线 Inkling 76.0 in model card; Scale AI scoring pipeline for these rows · Claim coverage threshold 0.75; reported split not explicitly specified; benchmark total 1000 is not an inferred score denominator
Muse Spark Open Evaluation Methodology · October 2026 · pp2-3 MCP-Atlas
Muse Spark Open Model Card · release 2026-10-15 · Benchmarks, MCP-Atlas row
局部内核与完整路径分开
- 机制
- 在SGLang中提供可自动调优Helion内核。
- 条件／配置
- NVIDIA／AMD内核；端到端结果明确为AMD MI350。
- 报告结果
- 内核 1.03–3.95×；MI350 端到端 +3%。
- 局限
- 不能相乘、推广到所有硬件或推导API价格。
AMD MI350 end-to-end speedup：3 % · 比较基线 Author comparison in launch post; no independent FieldToFit run · Specific end-to-end path; distinct from 1.03–3.95× kernel results
采用仍需自己的边界验证
- 机制
- 将权重、工具权限、运行框架和业务评测作为整体。
- 条件／配置
- 自定义许可；NVFP4 至少 700GB显存、BF16 至少 2TB，作者所列配置。
- 报告结果
- 部署可控性增加，但不能保证你的任务稳定完成。
- 局限
- 完整安全报告待发布；微调或量化后的结果不自动继承原检查点结论。
关系与依据
checkpoint → provenance
并行探索：发布配置与评测出处分别核对
p1 Overall Methodologyprovenance → gui
并行探索：并列量尺：GUI平均奖励
p3 OSWorld-Verifiedprovenance → mcp
并行探索：并列量尺：MCP阈值通过率
pp2-3 MCP-Atlascheckpoint → runtime
并行探索：运行优化独立于成绩排名
Available Nowruntime → adoption
并行探索：性能声明与采用条件同时核对
Access and Limitationsgui → adoption
并行探索：任务成绩不直接替代现场验证
Considerations and LimitationsMuse Spark Open：开放模型的成绩，怎样才算可比较？
- 激活 42B，不代表只需存 42B权重
开放的是配置和部署选择，硬件门槛仍要看完整检查点与精度。
- 80.4 与 89.2，不能平均成一个Agent成功率
GUI奖励与MCP任务通过率采用不同分母、规则和工具。
- 先看成绩出处与Agent框架，再看名次
内部运行、榜单快照与厂商自报不能被写成同一场统一测试。
- 内核提速，不自动变成整条工作流同幅提速
局部优化、端到端收益、许可与安全是不同采用条件。
1. 激活 42B，不代表只需存 42B权重
Muse Spark Open把编码、工具使用和多模态输入放在同一开放检查点中。MoE只激活部分专家，意味着每个token的计算路径较稀疏；本站据此提醒：不要把激活参数直接当成需要下载、存储或驻留的全部权重。
- 模型卡列出 816B总参数、42B激活，以及文字／图像／视频／音频输入和文字输出；不是一个文字输出之外的通用生成套件。
- NVFP4 至少 700GB显存、BF16 至少 2TB是作者列出的运行要求；双M5 Ultra演示也依赖大容量统一内存，不能转述成普通个人电脑均可部署。
适用边界：FieldToFit判断：选型前先确认机器容量、精度、框架与任务，再讨论是否适合本地运行。
Muse Spark Open Model Card · release 2026-10-15 · Overview and Model Access
返回核心结论2. 80.4 与 89.2，不能平均成一个Agent成功率
两个数来自不同任务系统。OSWorld让Agent操作完整桌面，检查最终状态；MCP-Atlas让Agent调用服务工具，先评价声明覆盖，再按阈值判断通过。把它们并排展示有助于辨认能力范围，合成一个平均数却会抹掉测量意义。
- OSWorld为 361 任务子集，排除Google Drive依赖任务；只有GUI、最多 200 步、每题四次取平均。它保留实际操作约束，不等于所有桌面软件都已覆盖。
- MCP-Atlas的 1000 是基准总任务量；89.2%的实际公开／私有split分母在该方法说明中未单独明确。本次保留缺口，不反推通过了多少条。
关键证据：比较时至少保留：任务集合、工具权限、尝试次数、评分规则和结果来源。
Muse Spark Open Evaluation Methodology · October 2026 · pp2-3 MCP-Atlas and OSWorld-Verified
返回核心结论3. 先看成绩出处与Agent框架，再看名次
方法文档的价值在于保留每行证据链。作者采用较高推理档位，但也说明第三方工具与系统提示未逐一优化。我们的判断是：这些结果可以帮助缩小候选范围，尚不足以单独隔离模型权重、推理预算与Agent工程各自贡献。
Muse Spark Open Evaluation Methodology · October 2026 · pp1-7 Overall and per-benchmark details
- 编程表中的首选框架包含Muse Code、Claude Code和Kimi Code等。真实选型可以比较完整方案，但不能将方案差异全归为底层模型差异。
- 遇到自报或缺值，保留来源身份和未知项；不要补零、拼接旧卡分数，或把报告中的快照改写为今天实时排名。
4. 内核提速，不自动变成整条工作流同幅提速
发布文章把Helion内核优化与整体推理收益分开报告。FieldToFit保留这种区分：模型工作流还包含未被该内核覆盖的操作，不能用最大局部倍数给整机、所有任务或API价格作承诺。
- 自定义Muse许可要求署名等条件；部分MaaS业务还有单独商业门槛。不能把开放权重简写为任意商业用途均无限制。
- 量化、下游修改和工具接入可能改变质量或风险。模型卡建议应用自己的防护与不可逆操作确认；详细安全报告仍待发布，当前材料不是全场景安全证明。
适用边界：FieldToFit判断：用你自己的任务集合验证完成质量、失败恢复与资源占用，再决定是否替换现有方案。
Introducing Muse Spark Open · 2026-10-15 · Available Now; model card Access, License and Limitations
返回核心结论报告与日期
Muse Spark Open Evaluation Methodology · October 2026 · October 2026 methodology · 首次发布 2026-10 · 保留原始日期精度；本站阅读和发布不冒充上游修订。
Muse Spark Open Model Card · release 2026-10-15 · 2026-10-15 launch checkpoint · 首次发布 2026-10-15 · 保留原始日期精度；本站阅读和发布不冒充上游修订。
Introducing Muse Spark Open · 2026-10-15 · 2026-10-15 launch checkpoint · 首次发布 2026-10-15 · 保留原始日期精度；本站阅读和发布不冒充上游修订。
地图首次发布 2026-10-16T15:00:12.630987+00:00 · 地图修订 2026-10-16T15:00:12.630987+00:00