星空APP官网 | 探索无限星空-星空体育传统基准只稽察代码能否跑通-星空APP官网 | 探索无限星空

星空体育传统基准只稽察代码能否跑通-星空APP官网 | 探索无限星空

发布日期:2026-10-30 08:02  点击次数:114

星空体育传统基准只稽察代码能否跑通-星空APP官网 | 探索无限星空

IT之家 10 月 29 日音书星空体育,Artificial Analysis 昨日发布了 Intelligence Index v5,这是该机构自 2026 年 1 月 v4 上线以来幅度最大的一次基准重构。

最径直的变化是,60% 的评测权重初度缔造在专有测试集或遮蔽谜底之上,用于压缩公开题库被模子稽察数据“混浊”的空间,减少了各厂商为了跑分而跑分的“注水”测试技俩。

该指数仍由九项评测组成,包括常识责任、编码、科学、通用才智各占 25%。其中编码 25% 的权重里,Cognition 于同日发布的 FrontierCode 2.0 独占 15%,Terminal-Bench 4.0 占 10%。

其中最值得温雅的 FrontierCode 2.0 都备换了一套评分逻辑。132 项任务沿路来自简直开源仓库,模子提交的代码更变不再只由单位测试是否通过来判定,而是由该仓库的羡慕者按“是否满足合并这个 PR”来打分,任何一项阻碍性稽察失败即记零分。

Cognition 在 6 月推出 FrontierCode 第一版时就强调,传统基准只稽察代码能否跑通,而合并决议还触及更变鸿沟是否克制、立场是否与代码库一致、转头风险是否可控等测试无法都备覆盖的维度。v5 将这一基准升级到 2.0 并纳入主指数,就是把“可合并性”而非“可开动性”推到了编码才智评价的中心。

在这一口径下,DeepSeek V4.1-Flash 1017(max)在 FrontierCode 2.0 上录得 28%,是系数已发布权重模子中得分最高的一个。

Kimi K3.1 Pro 以 25.5% 紧随自后,但其完竣权重按月之暗面官方博客的表述,要到 11 月 4 日前才发布,AA 在 v5 发挥中将其标注为“weights not yet released”。

谷歌 Gemini 4 Argon(high)为 25.7%,GPT-6 Luna 为 25.2%,均低于 DeepSeek V4.1 Flash。需要讲解的是,这一收获位于 FrontierCode 2.0 单项之内;在 Intelligence Index v5 的玄虚得分上,DeepSeek V4.1 Flash 与 GLM-5.3 同为 32 分,仍逾期榜首 Claude Opus 5.5(58 分)26 分,且低于 Claude Haiku 5.5 的 36 分。

Artificial Analysis 指出,v5 实在加重的是开源与闭源前沿之间的举座距离。v4.3 时,最强开源模子与榜首的差距是 3 分;v5 把大部分公开题换成专有题、并大幅加重智能体实战任务的比重之后,这一差距扩大到 12 分。Kimi K3.1 Pro 以 46 分红为步地上最强的开源权重模子,但它尚未发布权重;已发布权重的模子中,32 分是现时的天花板。

差距在 HLE-Diamond 和 Terminal-Bench-Science 两项上最为夺目:Kimi K3.1 Pro 辩认为 37% 和 34%,而 Claude Opus 5.5 在 HLE-Diamond 上为 68%,GPT-6 Astra 在 Terminal-Bench-Science 上为 63%。

v5 并莫得让路源模子“通宵变差”,它改变的是测量的东西 —— 当题目不再公开、评分不再只看通过率,那些依靠公开题库优化出来的分数被系统性地挤掉了水分。

另一个被 v5 放大的变量是“戮力值”(念念考品级)的本钱上风。Claude Opus 5.5 从低戮力档到 max 档跳跃 23 分,单任务本钱从 0.98 好意思元升至 10.04 好意思元,收支约 10 倍。

Claude Sonnet 5.5 在不同戮力档之间的分差从 v4.3 的 20 分扩大到 29 分,GPT-6.1 Sol 的跨度翻倍至 20 分。这意味着合并模子在“省钱模式”和“全力模式”下的进展差距,照旧大到不像一个模子。

在得分最高的十款模子中,GPT-6.1 Terra 的每任务本钱最低,为 0.96 好意思元,Claude Fable 5.1 最高,为 13.04 好意思元,收支杰出 13 倍。

与 v5 同步推出的 Progress Index v1 则管制另一个问题:当基准自己每隔几个月就换一次,不同庚代的模子如何放在合并把尺子上相比。Progress Index 将 2022 年 11 月以来发布的主要讲话模子映射到一个相接的才智设施上,其联想参考了 Epoch AI 的 Epoch Capabilities Index 的设施。Intelligence Index 接续动作量度“当下前沿”的主贪图,Progress Index 则用于不雅察“才智随时分如何演进”,两者恢复的是不同问题。

推行上,v5 的九项评测中莫得任何一个模子沿路首先:Claude Opus 5.5 拿下 FrontierCode 2.0、HLE-Diamond 和 AA-Omniscience 三项,GPT-6 Astra 在 Terminal-Bench-Science 和 CritPt v2 贫困子集上居首,Kimi K3.1 Pro 在 Terminal-Bench 4.0 上以 67% 首先,单项上风的散布进度比总分名次更值得驻扎。

揣测阅读:

《国产最强 DeepSeek V4.1 Flash-1017 登顶 Agent Arena 开源榜,总榜第 11》

《DeepSeek V4.1 Flash 发力星空体育,中好意思顶尖模子 LiveBench 跑分差距缩至 3%》



相关资讯
热点资讯
  • 友情链接:

Powered by 星空APP官网 | 探索无限星空 @2013-2022 RSS地图 HTML地图