CMO-Bench 是第一个专注营销垂类、
以 CMO 级专家判断为满分标尺的大模型评测

大模型的竞争，正在从“会不会回答问题”转向“能不能在专业场景里完成任务”。越来越多模型能力评测也开始进入具体行业。

营销增长具备巨大的商业价值，却缺少清晰的验证机制。营销的价值不只是一笔广告预算，它连接产品、用户与收入，需要持续判断服务谁、讲什么、预算投向哪里，以及何时放量、何时止损。一次判断失误，损失的可能是一轮新品窗口、一笔投放预算，甚至长期积累的品牌心智。

企业开始用 AI 写内容、做分析、选达人、管投放，但评判能力的方法并没有跟上：一个模型究竟只是能够完成任务，还是已经能够在预算、时间、品牌和合规约束下，做出可以承担后果的营销判断？

这就是 CMO-Bench 核心要回答的问题。

CMO-Bench 的每个环节都按国际专家型基准的做法设计：题目取材于真实业务场景，判据由资深专家亲手写下，判分由两个裁判模型独立完成、每一分都可追溯。任何模型都能在同一套条件下接受评测，结果可复核、可横向比较。

2.1　题目来源

56 道题全部来自头部品牌的真实业务场景。经脱敏与改编合成，保留真实业务的判断结构与难度，不含任何客户原始数据。这些客户包括国际高端美妆集团、上市储能公司等，年营销预算以亿计；国内 37 题、海外 19 题，覆盖小红书、Meta、YouTube 等平台和七类营销岗位：设计与图文、视频创意、洞察分析、内容主笔、投放操盘、项目运营、达人商务。

2.2　判断依据

每一条判据，都由从业十年以上、操盘过亿元预算的营销专家亲手写下。出题专家来自服务头部客户的一线操盘团队。他们先把题做完，再逐条写下判据，每条都对应真实业务里的一次取舍，以及当时拍板依据的那条理由。判据禁用「合理」「专业」这类模糊词，一条只判一件事；每题再用「全做合规动作、但不做取舍」的反例校准区分度，经多轮独立审查后冻结。

2.3　判断密度分级

我们借用自动驾驶的分级思路，按「需要多少自主判断」把营销判据分成五级。国际汽车工程师学会（SAE）把自动驾驶分为 L0 到 L5：L0 由人全程驾驶，L1 只有定速巡航这类单项辅助，L2 能同时控制方向和速度但人要全程盯着，L3 在特定条件下由车自己开、人随时准备接管，L4 在限定区域内完全不需要人。营销工作也有同样的梯度：越往上，越没有现成规则可套，越需要自己拍板并承担后果。

2.4　判分机制

判分由 DeepSeek V4.1 Flash 主判、Kimi K3 复判，两个模型各自读取产物与完整轨迹，逐条独立给出 PASS / FAIL，逐条一致率 86%。每一条判定都附理由与证据位置，任何一分都能回溯复核。所有候选在同样的隔离环境中执行（单机 Docker，1 CPU、4,096 MiB、5,400 秒上限），视频统一使用 Seedance 2.5、图片统一使用 gpt-image-2。各模型均取最高推理档位：GLM-5.3-Flash 为 high，其余为 xhigh。

2.5　指标设计

主指标看的是「这份交付能不能被业务采纳」，而不是平均分。

• 专家达标率（主指标）：一道题的 24 条专家项通过 70% 及以上才算达标，达标题数 ÷ 56 × 100。
• 专家判断通过率：专家项 PASS 数 ÷ 24，按题等权平均，作诊断用。
• 基础执行完整性：8 条执行项的通过率，覆盖产物形态、字段一致、合规红线与来源记录。

五个模型都能把活干完，但只有四成题目的交付能被专家采纳；要求的判断越自主，差距越大。

3.1　数据总览

今天的 AI 能交付有规范可循的成品，要它替你拍板还差得远。整体来看，模型做得好的是图文与页面制作（最高 85.7%）和视频成片（58.3%）这类有明确规范的产出；做得差的是投放操盘（33.3%）、项目运营（33.3%）和达人筛选（16.7%）这类要选人、要算账、要担后果的活。而在写方案、要做取舍的活上，五个模型表现尚未达标。

3.2　执行完整性与专家判断的落差

当以专家水平来评测模型表现，我们发现把活干完不算本事，把「干完」和「干对」之间那段距离压短才是。执行项查的是东西交没交齐，专家项查的是判断对不对。五个模型的基础执行完整性都在 88.8–98.7%，专家判断通过率只有 48.4–59.0%，同一个模型这两个分数差出 30 到 49 分，这段落差，就是今天还必须由人补上的那部分。

当算力便宜到可以浪费，真正值钱的是判断。一道题就是一件完整的营销工作，从看材料到交出成品，最强的模型跑完一整道题只要 ¥7.96，CMO 级专家每题约 ¥2,170–4,340，差出 270 倍。五个模型把 56 道题全跑一遍，一共 ¥3,473。便宜到这个程度，「用不用 AI」已经不是一道算钱的题。该花力气的不是再挑一个更便宜的模型，而是把专家判断标准喂进去，让 AI 不断接近专家的判断水平。

3.3　各智能水平下达标率

营销里的智能水平分五级（L0–L4），今天的 AI 稳定停在 L1，即只有「照着规范把东西做出来」。

• L0　信息处理　复述题面、整理材料。不计入评分。
• L1　规范执行　按规则交付：格式对、字段齐、合规红线不碰、来源可追。
• L2　收敛判断　按既定标准过筛归并，比如按硬指标排除不合格的达人。入行一两年就能做。
• L3　发散判断　几条路都说得通，要选一条并写明依据和代价，比如四到六个名额怎么分。
• L4　高阶拍板　没有数据能替它决定、要承担业务后果，比如要不要留一笔风险准备金。

对照 70 分达标线，五个模型只有 L1 整体过线（91.1–100%）；到 L2 掉到 32.1–55.4%，最好的模型也没够到线；再到 L3–L4 只剩 21.4–37.5%。一件活能不能交给 AI，看的不是它有多复杂，是它要不要 AI 替你拍板。

而营销的重心正好落在 L3–L4。全库判据里超过四分之三是 L3 以上的取舍与拍板，也正是模型掉得最厉害的地方。这一段是 CMO-Bench 后续每一版持续盯的重点。

3.4　各场景下达标率

AI 做得最好的，恰好是最不需要它拍板的那一类。对应到岗位，AI 最先能独立交付的是设计与图文岗（85.7%）和视频创意岗（58.3%），最难接手的是达人商务岗（16.7%）。这说明，规范化的产出 AI 已经能做，一旦涉及「什么不能画、什么不能写」，它就塌了。工具能解决产能，解决不了边界判断，真正吃预算的广告投放、达人投放不会因为只买一套 AIGC 工具而变好。

不同场景的领先者也不同。Qwen3.8-Max 在图文与内容两个场景领先，Doubao Seed Evolving 在洞察与策略两个场景领先，单价最低的 GLM-5.3-Flash 拿下了生成链路最长的视频场景；项目运营是 Doubao 和 Qwen 并列，达人筛选四家并列在 16.7%。对构建 AI Native 的营销团队而言，可以按场景选用表现更优的模型。

3.5　各题目类型下达标率

决定达标与否的是判断类型，而不是标注难度或材料长短。

• 标注难度不决定成败：困难题的五模型平均达标率 33.9%，反而高于普通题的 28.0%。难在哪里，比难不难更重要。
• 长材料仍是负担：超长题整体平均达标率 38.2%，看起来最高，但 12 道视频题贡献了大部分；去掉视频题后只剩 24.0%，低于短材料的 31.3%。
• 判断类型才是主因：真正让达标率一路下滑的，是题目要求的判断从执行走向拍板（见 3.3）。

3.6　失分原因分析

绝大部分模型能做出选择，却没有把依据、被放弃的选项和代价写进交付物，这类失分占 43–50%。另有 9–13% 是回避拍板，把该决定的事写成「资料未给出」或「范围外」。五个模型的比例非常接近，说明这是共性短板，而不是个别模型的问题。

这恰好指向营销判断里最值钱的部分。一次判断要能被复核、复用、再训练，需要同时留下三样东西：选了什么、为什么选、放弃了什么以及代价。今天的模型交付了「选了什么」，却缺了后两样，因此它的判断无法沉淀为可验证的资产。我们的解读是，更深一层的原因在于模型不敢拍板、不敢下结论：它被设计成尽量不出错，而不是为真实的业务结果负责。这也是 CMO-Bench 判据与真实业务留痕（episode）要补上的那一环。

同样的材料和工具，高分和低分差的不是「会不会做」，而是「敢不敢为业务后果做取舍」：高分模型会主动判断什么不能说、谁不能选，低分模型只完成了合规动作。

CMO-Bench 1.0 足以揭示模型在营销判断上的共性短板，但在样本、裁判与覆盖面上仍有明确的边界，我们在此如实列出。

• 样本规模56 道题足以区分判断层的共性短板，但分场景的样本较小（最少 5 题），场景排名应视为方向性信号。
• 裁判参评本轮的裁判模型同时也在被测名单内。主判模型在总榜排名第五，未见明显自我偏好；下一版将引入与被测模型无关的裁判，并报告人机一致率。
• 模型覆盖本期只测了五个国产主流模型，海外前沿模型将在后续版本纳入。
• 单轮任务1.0 版均为单轮作答；多轮迭代、中途改需求与失败恢复将列入下一版。
• 成本估算资深专家的耗时按题目难度与材料量估算，尚未经出题专家逐题校准；AI 成本为实测。
• 题目来源题目基于物自体服务的客户项目改编合成，已做脱敏，不含客户原始数据；且存在品类集中：12 道视频题全部来自同一个储能品牌，视频场景的结论不宜外推到其他品类。我们只公开样题与判据，其余题目保留为不公开集，以防针对性刷分。

营销判断的标尺，只能由一线营销人一起来定。CMO-Bench 按季度更新，我们邀请三类伙伴加入。

CMO-Bench 由物自体科技与香港科技大学 KnowComp 研究组联合构建，结合产业一线的真实业务经验与知识、推理及可信智能研究。

@misc{noumena2026cmobench,
  title  = {CMO-Bench: Evaluating the Marketing Judgment
            of LLM Agents against CMO-level Standards},
  author = {Zou, Guanyun and Wang, Dafei and Gao, Jun and
            Li, Jiajun and Zhao, Huan and Song, Yangqiu},
  year   = {2026},
  note   = {Version 1.0},
  url    = {https://www.noumena.com.cn/cmo-bench}
}