08. 评测基准与评测方法 (Benchmarks & Evaluation)
本章用于补齐“论文里用到的评测到底在测什么、怎么测、测出来代表什么”。每个基准/评测方法都按论文追踪同款结构：🟢通俗→🔴专业→🧠点评，并附可追溯链接。
🗂️ 导航
VBench 像一个“视频体检表”：不是只问“好不好看”，而是把视频质量拆成很多项（比如主体是否一直是同一个人、动作是否自然、画面有没有闪烁、是否符合文本描述），然后给每一项打分。这样你就能知道模型到底“强在哪、弱在哪”。
- 评测对象：主要面向 T2V/I2V 的生成结果（prompt + 生成视频），输出为多维度分数与汇总分。[来源]
- 评测重点：把“视频生成质量”拆成多维指标，通常可分为两类：Video Quality（清晰度/美学/一致性/闪烁等）与 Video-Condition Consistency（与 prompt 的语义一致、动作一致等）。[来源]
- 长视频扩展：VBench++ 提供 VBench-Long，用于评测长视频生成模型（对分钟级/更长输出更敏感）。[来源]
- 使用方式（怎么跑）：
如果说 VBench 更像“画质体检”，VBench-2.0 更像“世界观体检”：它更关心视频是否符合物理和常识、人的动作是不是合理、剧情是否自洽，而不仅是清晰好看。
- 评测重点（Intrinsic Faithfulness）：从“像不像”推进到“对不对”，覆盖 commonsense、physics、human motion、composition 等更深层能力维度。[来源]
- 使用方式（怎么用）：在同一仓库内以独立模块维护（`VBench-2.0/`），按维度或全量评测运行；官方还支持评测自定义视频（single dimension / customized videos）。[来源]
- 落地建议：当你做“世界模型/交互视频”时，优先把 VBench-2.0 当作“物理/常识/人类动作一致性”的回归测试，而不是泛画质评分。因为这类能力更接近长期稳定与可交互的真实瓶颈。
“内在真实度”是世界模型最终会被追问的能力：哪怕短视频看起来很美，只要物理/常识经常崩，交互就不可用。VBench-2.0 的意义是把这类能力变成可测量的维度；但仍要注意：复杂叙事/长链因果往往是现有基准最薄弱的一环，别被单一汇总分掩盖了失败模式。
PhysBench 用来测试模型懂不懂“物理常识”：比如东西会不会掉、碰撞会怎样、物体关系和运动是否合理。它更像给模型做“物理理解考试”。
物理理解类基准最大的价值是把“看起来合理”拆成可检验的问题集。对世界模型团队来说，建议把它用作：① 训练/对齐数据的目标分布参考；② 推理链路改动后的回归测试。注意避免只追求答题技巧：真正要的是跨场景的物理一致性，而不是模板化 QA。
FVD 是“自动打分”的老指标：它用一个视频特征提取器把真实视频和生成视频都变成向量分布，然后看两者差得有多远。分数越低通常越接近真实。
FVD 在很多论文里仍会被引用，但对“可交互世界模型”来说它远远不够：你关心的是长期因果一致性与可控性，而不是平均意义上的分布接近。建议把它留给横向 baseline，对核心结论优先用诊断型（VBench/VBench-2.0）或任务型（PhysBench/PhysGame）评测来支撑。
这是“用 AI 评 AI”：让一个更强的视觉语言模型去看生成的视频，然后打分或给奖励，告诉你“这段视频/这一步动作看起来是不是更合理”。
- 使用方式：把 VLM 当作 reward function / judge：输入（prompt + video 或 state rollout），输出为偏好分/成功率估计/对齐分数；常用于 policy 评估或 best-of-N 选择。[来源]
- 评测重点：适合评估“任务成功/语义目标是否达成/行为是否合理”等无法用像素指标表达的目标；对交互世界模型尤其关键，因为最终目标往往是“可用性”，不是画质。[来源]
- 关键风险：judge 本身有偏差（幻觉、偏好漂移、对视觉细节不敏感/过敏感），需要做校准（人类抽检一致性、OOD 测试、reward hacking 风险评估）。
VLM-as-a-judge 是目前最“工程可用”的评测补丁，但必须把它当作带偏差的代理指标而不是事实。最佳实践是：VLM 负责高频回归与快速筛选，人类负责小样本高质量审计（并把审计结果反过来校准 judge）。否则最常见的结局就是：模型学会讨好裁判，而不是学会真实世界规律。
VBench 是行业里最接近“可诊断”的自动评测体系之一：它的价值不在 rank，而在让你能把工程优化对齐到具体维度（例如先解决主体一致性，再谈美学）。但要小心“刷分陷阱”：任何自动指标都会诱导过拟合，建议用它做回归测试（regression）与方向性诊断，而不是当唯一 KPI。