Haiku 5.5 benchmark:分数该怎样用于创作选型
读懂 Haiku 5.5 benchmarks 的评分单位、离线子集与工具条件,用可复现的小测试判断摘要、创作简报和图片提示词是否适合自己的工作。

搜索 Haiku 5.5 benchmark,首先要看分数旁边的条件。知识工作评分、电脑操作成功率和有工具辅助的答题成绩,各自测的是不同能力,不能相加后排出一个通用冠军。
如果你要整理创作简报、缩短资料或写图片提示词,更有用的问题是:模型有没有保留产品材质、构图要求和禁止出现的元素?下面先列官方结果,再给一套可以自己复用的测试方法。Yix 没有为这篇文章实测 Haiku 5.5。
官方 Haiku 5.5 benchmarks 选读
数据来自 Anthropic 10 月 7 日发布说明。分享分数时,请一起保留测试条件。
| 评测 | Haiku 5.5 | Haiku 4.5 | 单位或条件 |
|---|---|---|---|
| GDPval-AA v2.1 | 1620 | 735 | 评分,并非正确率 |
| OSWorld 2.1 | 72.4% | 15.7% | 离线子集 |
| Humanity's Last Exam | 45.9% | 10.2% | 不使用工具 |
| Humanity's Last Exam | 57.4% | 18.7% | 使用工具 |
这些发布方数据可以帮助你选择测试任务,不能直接换算成自己的工作成功率。OSWorld 的 72.4%,不保证每一百次浏览器操作能成功七十二次。
HLE 的两行尤其容易混淆。把有工具成绩与另一模型的无工具成绩比较,会同时比较模型和工具环境。测试集版本也要记录,否则前后两次分数未必对应同一批题目。
创作者该测什么
从自己最常修正的错误出发。摘要任务要看有没有遗漏关键事实;广告简报要看尺寸、受众和允许使用的宣传语;图片提示词要看物体、材质和光线有没有被改写。
| 工作 | 可以怎样检查 | 需要记下的错误 |
|---|---|---|
| 整理客户笔记 | 先写必需事实清单,再逐项核对摘要 | 漏掉限制、编造偏好 |
| 整理创作简报 | 要求输出受众、主体、布局与排除项 | 增加未经批准的卖点 |
| 写图片提示词 | 与同一份原始简报逐项比对 | 换了材质、增加物体、光线冲突 |
| 给需求分类 | 使用已有正确标签的样本和边界情况 | 误分类、应当追问时强行判断 |
提示词写错时,先修文字再生成图片。蓝色玻璃瓶被写成绿色塑料瓶,文字准备这一步已经失败;最后生成的图再漂亮,也没有完成原任务。
一套能复现的小测试
选十二份有权使用的真实简报:四份简单、四份限制较多、四份存在歧义。删除个人信息。测试前写出必需事实,以及遇到歧义时希望模型怎样处理,避免看完结果后临时改评分标准。
给两款模型相同输入、输出格式和工具权限。记录完整模型名、日期和 effort 设置。有预算时,每份简报跑两次,观察结果是否稳定;不要只挑最好的一次。
逐份检查必需事实有没有保留、是否增加了无依据内容,以及能否直接使用。都满足才算通过。另记耗时、实际费用和重试次数,比较每份合格结果的成本。
下面是一个原创测试简报,可以替换成自己的产品:
为 4:5 产品广告写一条图片提示词。主体是钴蓝色玻璃瓶,贴白色纸标签;放在浅色石台上,柔和窗光从左侧照入。标签保持空白,瓶子上方留出标题空间。不要出现人物、花朵或产品功效。分别输出提示词和必须保持不变的细节。
这条简报未在 Haiku 5.5 上实测。它用于发现材质被改写、装饰物被添加、标签出现文字或标题区被占满等常见问题。换主体时,也要同步修改验收清单。
便宜的是请求,还是合格结果
不要只比较单次费用。一款模型完成二十份简报,其中六份要重写;另一款单次更贵,却只需修一份。前者可能仍然划算,但需要把返工时间算进去。
保留所有重试费用,不要只统计最终成功的一次。模型编造了产品卖点,即使文笔很好,也应记为不合格。当前价格和使用入口请看 Anthropic Haiku 页面,估算时留意请求长度对应的计费条件。
接到实际图片工作
可以用 Yix 提示词生成器 把想法拆成主体、场景、镜头、光线和限制条件。它是 Yix 的提示词工具,打开页面不会选择 Haiku 5.5。保存同一份简报,再到自己选择的模型或服务中比较。
已有照片需要修改时,进入 图片编辑,写清一个目标变化和必须保留的细节。新产品场景可以参考 产品摄影提示词指南。文字是否符合简报与图片是否达到要求,应该分开验收。
常见问题
这些是 Yix 的独立基准吗?
不是。首个表格是发布方数据,测试清单与瓶子简报是本文提出的方法,未作为实测结果展示。
最高分就最适合我吗?
看自己任务的合格率。通用难题分数不能证明模型一定遵守品牌限制,也不能替代逐字核对必须保留的文本。
比较时要保存哪些信息?
保存输入、模型、日期、effort、工具、输出、修改记录和费用。缺少这些信息,很难复现结论。若想比较创作规划的成本,也可以看 6.1 Sol vs 6 Astra。