平均分接近的模型，失败方式可能完全不同。Report Cards 自动把模型行为写成报告，并验证报告本身的质量。
发布重点
- 问题：一个平均分会隐藏模型在哪里好、在哪里坏、为什么坏。
- 方法：Report Cards 自动生成自然语言行为报告，并用对比、Elo 与人工评分验证报告质量。
- 发现：好的报告可以压缩大量样本信息，让人类更准确判断模型差异。
- 意义：评测结果可以进入产品审计、模型选择与安全部署流程，而非止步于排行榜。
← 返回新闻
NeurIPS Spotlight · 2024 年 12 月
Report Cards：把模型行为写成可检验的报告
像老师写评语一样，自动为模型写出行为“成绩报告单”，并验证报告确实帮助人类分辨模型差异——获 NeurIPS SoLaR Spotlight。研究页提供完整解读：领域背景、方法、关键图表与论文入口。
3报告质量维度
3自动评估指标
100%自动生成
SpotlightNeurIPS SoLaR
2409.00844arXiv