Muse Ember评估报告：价格、任务通过率与Agent运行框架
Meta同时披露低价执行模型与四页评测方法；选型须分别核对token单价、任务口径及运行框架，不把部分得分或估算费用当生产承诺。
Meta原始四页Evaluation Methodology只标 2026年 11月，无编号版本及确切首发日；配套模型公告为 2026-11-09。本站 2026-11-10完整阅读方法与公告结果，未调用API、审计私有题目或复现。原图仅链接，复用许可未确认，不复制或另画替代图。
本次变化：首次整理：四条结论与同号论述，链接官方原图，保留月份精度、分母、费用估算及不同harness。
Meta · Muse Ember Evaluation Methodology · November2026 ·4 pages · p.1: Overall Methodology
Muse Ember / AutomationBench-AA：37.8 % strict pass@1 · 比较基线 Claude Haiku5.5 13.9%; GPT-6 Luna20.2% · 657项私有工作流；全部目标满足且无护栏违规。
Muse Ember / OSWorld2.1：69.5 % mean partial credit · 比较基线 Claude Haiku5.5 68.9%; GPT-6 Luna50.5% · 108项Ubuntu工作流；严格通过率另为 33.8%。
Meta · Introducing Muse Ember ·2026-11-09 · Muse Ember evaluation results
Meta · Introducing Muse Ember ·2026-11-09 · Evaluation results: Coding
并行探索：并列核验维度，不构成跨评测因果
pp.1–4: overall methodology; Agents; MultimodalMuse Ember evaluation results并行探索：并列核验维度，不构成跨评测因果
pp.1,3: Models and configurations; CodingEvaluation results: Coding并行探索：并列核验维度，不构成跨评测因果
pp.2–4: knowledge work, GDP.pdf-AA, OSWorld2.1, PerceptionBenchIntelligence vs. Cost Per Task; Muse Ember evaluation results200K提示长度是价格分界；任务成本曲线还受推理用量和努力等级影响。
保留每个基准的题目、排除规则与评分单位，才知道数值回答了什么问题。
内部对比尽量共用条件；外部编码结果沿用各厂商的Agent产品。
相近分数可能来自不同判分规则，原始图表必须和方法一起读。
muse-ember-1.0通过Muse Code和Meta Model API提供，支持文本、图像、音频、视频输入，1M上下文、最高 512K输出。提示不超过 200K token时，每百万输入／缓存输入／输出为 0.10／0.004／0.50美元；超过 200K时为 0.30／0.012／1.50美元。当前材料未确认可下载权重、参数规模或自托管许可。
官方“Intelligence vs. Cost Per Task”以每个推理努力等级为一个点。Ember两点为 33.9分／0.116美元与 35.8分／0.136美元；Haiku最高点 36.2分／0.411美元，Luna最高点 27.8分／0.152美元。图注把Ember费用标为按拟定价格估算，不是本站实付账单，也不能脱离横纵轴比较“便宜三倍”。
适用边界：API单价乘以实际输入、缓存与输出用量，才是相应token费用；任务重试、工具及平台条件还需另核。曲线不能直接预测自己的业务账单。
Meta · Muse Ember Evaluation Methodology · November2026 ·4 pages · p.1: Overall Methodology
返回核心结论总体方法把拒答留在分母并记零、截断回答按原样评分，基础设施或评分错误样本不评分。OfficeQA Pro V 2使用 90题、1435份 1793–2024年文档及 0%数值容差；JobBench为 65任务／35职业。GDP.xlsx为 70任务／13领域，采用Gemini 3.8Flash评分；这些数据集与评判器不同，不合并为一个总样本。
Meta · Introducing Muse Ember ·2026-11-09 · Muse Ember evaluation results
返回核心结论报告在max reasoning下运行Ember、Claude Haiku 5.5与GPT-6 Luna；内部受控对比使用相同基准专属harness，但明确竞品提示、工具和运行时只是尽力调优。Terminal-Bench 4.0为 66题：Ember来自AA的mini-swe-agent，Haiku为Anthropic自报Claude Code，Luna来自Codex排行榜。40.9／39.2／16.4同时包含这些系统差异。
Coding Agent Index-AAv 2.0由Terminal-Bench 4.0、SWE-Atlas-QnA和FrontierCodev 1.1构成，MuseCode、ClaudeCode、Codex路径并不一致。另一个FrontierCode 2.0-AA含 132项私有任务，以可合并性等评分，Ember 27.2、Haiku 34.9、Luna 25.2；不能写成Ember在所有编码指标均领先。
适用边界：读者若要比较模型本身，须在自己的相同工具、预算、提示和任务上复测；这里的多产品成绩不能隔离单一模型的因果贡献。
Meta · Introducing Muse Ember ·2026-11-09 · Evaluation results: Coding
返回核心结论GDP.pdf-AA提供提取文本与逐页图像、不使用工具，要求所有评分条目通过；公告 22.8／20.8／22.8属于all-pass规则。PerceptionBench为 3000题、10类能力，可用工具，由gpt-oss-120b评分，报告pass@1为 80.6／78.6／62.8。OSWorld还结合程序化与Sonnet 4.6判断。自动评判不等于人工逐项确认。
原图阅读入口：本节出处链接通向官方公告中的“Intelligence vs. Cost Per Task”和“Muse Ember evaluation results”交互图表；方法链接指向原始四页PDF。核对横轴美元／任务、纵轴指数分、推理设置和各表评分单位。原图未获确认可复用许可，本站保留原入口，不复制全文或图形，也不以新画示意代替作者原图。
适用边界：私有题目、内部复合指标与未披露样本数限制了独立复算。本站完整阅读的是四页方法与发布公告，未审计全部外链基准、未跑模型或验证费用。
返回核心结论Meta · Muse Ember Evaluation Methodology · November2026 ·4 pages · November2026;4-page unnumbered Evaluation Methodology · 首次发布 2026-11
地图首次发布 2026-11-10T06:34:34.089480+00:00 · 地图修订 2026-11-10T06:34:34.089480+00:00