Gemini 4 Pro 匿名现身 Arena,跑分与实测到底成色几何

Feng 31 阅读 AI技术

Arena 上突然冒出一个叫 gemini-3.8-flash 的模型。名字很眼熟——Gemini 3.8 Flash 九月初就发过了,同名再出现一次,本身就不正常。

几轮对话下来,上手的人基本有同一个判断:这大概率是谷歌 DeepMind 藏了半年的下一代旗舰,Gemini 4 Pro。

先看那张被疯传的基准图

泄露出来的分数集中在四个方向,编码、智能体、推理、终端操作:

  • Deep SWE v1.1:智能体编码任务拿到 88%,比 Astra 高出近 2 个百分点
  • GDPval-AA v2:真实知识工作场景,唯一拿到 2064 Elo 的模型
  • Terminal-bench 2.1:终端编码能力 95.3%,同样是最高
  • OSWorld-2.0:计算机使用能力 86.8%,压过 Astra 和 Fable

如果这张表没注水,Gemini 4 Pro 在纸面上确实是当前最强。

价格也跟着流出来了:每百万 Token 输入 2.25 美元,输出 11.25 美元。在御三家里算性价比最好的那个。上下文方面,1000 万输入上限、25.6 万输出上限,还带永久跨会话记忆——这是 AI 研究员 Qwinah 进到后端之后看到的。

时间线对不上,才是这次偷跑的关键

谷歌上一个真正的大版本 Gemini 3.1 Pro,停在 2 月 19 日,距今七个月。

I/O 大会上劈柴预告过 Gemini 3.5 Pro 六月发。结果一鸽再鸽。WSJ 月初的独家说得很直接:3.5 Pro 取消了,进化幅度连 Flash 都比不上。

好在 Gemini 4 在预训练评估阶段表现优秀,后训练也在顺利推进。于是 4 Pro 套上 gemini-3.8-flash 的马甲,在 Arena 上以首个 checkpoint 的形式露面。

实测比跑分更有说服力

工程师 Bee 测完之后的原话是「太不真实了」。14 分钟,4 Pro 搭出一个以素描、铅笔、石墨质感为主题的创意展示页,把「滚动即笔触」做成了交互——向下滑,线条逐步加深,过渡很顺。

另一个赛博朋克混复古未来主义的商业站点,首屏直接融合了 3D 网格、数据仪表盘和可交互 3D 模型。

3D + SVG 这块进步最明显。经典的「鹈鹕骑自行车」测试里,配色、日夜切换、车灯、解剖标注、踏频控制全都做齐了,完成度不输顶尖模型。Pankaj Kumar 总结了几点变化:速度快,SVG 和 3D 产出肉眼可见地变好,一次提示就能把复杂需求吃得比较准。

像素风 3D 宝塔、10 分钟做出来的空客 H145 直升机 3D 模型、3D 飞行模拟——画面效果都明显超过 Gemini 3.8 Flash。这一点反过来印证了:Arena 上那个 gemini-3.8-flash 和真正的 3.8 Flash 不是同一个东西。

游戏方向也没落下。我的世界风格的页面搭建、各模块构建,不输此前 Astra 放出的演示;一个 3D 卡丁车竞速游戏,观感比跑跑卡丁车那类老赛车游戏还现代,而 4 Pro 只花了很短时间。

谷歌真正押注的东西叫 RSI

如果这个循环真能转起来,模型迭代的节奏会彻底变掉。

上个月,Google DeepMind 首席战略官 Jasjeet Sekhon 在伯克利的一场活动上把话挑明:RSI(递归自我改进)已经是 AI 巨额投资逻辑里的关键一环。整个产业押注的是能力曲线继续向上;一旦真的撞上递归自我改进,这条曲线可能从指数攀升进一步加速。

最近流传更激进的说法是:Gemini 4 之所以提前完成预训练,正是因为 DeepMind 在训练中跑通了 RSI 回路。

14 日谷歌公开了一项叫 Dream-RSI 的研究,方向是让 Agent 在研究流程中不断改进自己的搜索策略,从经验里升级下一轮探索。

RSI 被公开摆到重要位置,AI 参与改进 AI 的迹象也越来越多。

牌桌已经换了

Gemini 4 Pro 面对的不是七个月前那个局面。OpenAI 有 Astra,Anthropic 有 Fable 5.1,竞争早就从聊天卷到长任务、Agent、代码、推理甚至自主科研。

只做出一个「比 Gemini 3.8 更强」的模型已经不够。4 Pro 要重新证明的是:Gemini 还在最前沿。对一家市值 4.23 万亿美元的公司来说,维持 AI 实力在第一梯队,是撑住估值的前提。

工程视角:这些分数该怎么看

做测试和运维的,看到 benchmark 数字先别急着信。

第一,Arena 上的匿名模型身份是推测,不是官方确认。历史上 Arena 出现过不少「疑似某家大厂新模型」的条目,最后被证伪的也有。

第二,SWE、Terminal-bench、OSWorld 这类基准的分数高度依赖 harness 配置。同一模型在不同 agent scaffold、不同重试策略、不同超时设置下,成绩能差出好几个点。想复现,先固定工具调用格式和最大步数,再跑对照。

第三,跨会话记忆和 1000 万输入上限这类能力,真正落地时要看的是长上下文里的检索准确率,而不是窗口标称值。

判断一个模型能不能进生产,我的建议是别只看榜单:拿自己业务里最脏的那批 case 做回归,比对上一版的失败率变化,再决定要不要切。榜单第一和线上稳,是两件事。

参考来源:新智元

Feng
这位作者很神秘,还没有填写简介。