一瓶饮料正面同时印着 500mL 和 600mL,电商后台录入净含量时填哪个?元气森林官网那张外星人青柠电解质水给出了答案:底部小字写着“净含量:600mL(500mL+赠送100mL)”。人眼扫一下就知道总量按 600mL 算,程序不行——它得同时抠出数字、读懂赠量说明,不能逮着 500 就填。
同系列青柠包装更麻烦。有的标“0糖”,有的印“低糖”,版式几乎一样,只差一个字。商户错填成 0 糖,光靠认出外星人标志和青柠图案根本兜不住。
这次拿官网六款常见商品图,实测 Jev 1.14 在电商上架审核里的分类与定位表现。
五道封闭题,考的是结构化输出
Jev 的定位是决策模型:输入图片,直接吐结构化分类和概率,不是自由文本。TypeSafe 在 2026 年 10 月 14 日开放了图片输入,同时给 Jev 1.14 加了用于目标定位的 Box 类型。两项功能官方都标着实验性质。
测试给每张图固定五道题:品类、口味、糖标示、总净含量、单图能否证明是六瓶装。候选项封闭,判断标准提前写死——遇赠量按总量计,看不清就选“无法确定”。
六张图跑下来,青柠电解质水的 0 糖与低糖分得干净,增量装正确选出 600mL;白桃茉莉冰茶判为“减糖”、900mL;六张单瓶图没有一张被误判成六瓶装。
对下游系统来说,直接读 sugar_label.choice 就能拿结果,不用再写正则去抠包装上的字。每张图还附带 0 到 1 的可见性概率,反光、遮挡的图可以靠这个先筛一遍。
定位框:能圈,但别全信
审核场景光有分类不够,人还得看到信息在包装的哪个位置。
Box 题型在请求里指定目标,返回边界比例坐标加置信度。以青柠的糖标示为例:
{ "type": "box", "box": { "top": 0.45, "bottom": 0.49, "left": 0.44, "right": 0.55 }, "confidence": 0.88}
坐标乘图片宽高,后台就能渲染标注。测试让 Jev 分别定位整瓶(A)、品名(B)、糖标示(C)、净含量(D):
按原始坐标渲染,后台可以直接高亮待核对区域。但框线未经人工修正,问题也露出来了:净含量框漏掉了赠量说明;好自在红豆薏米水虽然判对“0糖”,定位框却飘到了文字右上方。
分类正确不等于定位精准。更关键的一点——目标不存在时接口照样返回坐标。业务侧不能看见框就默认目标存在,必须把分类结果和定位结果分开校验。
三模型对照,分歧都在细节里
对照组选了本地 Ollama 的 Clef Flash 9B 和 OpenRouter 上的 OpenAI GPT-6 Luna Decisions(openai/gpt-6-luna-decisions-20261006),图片和题目规则完全一致。
白桃、葡萄气泡水容量一题,侧面反光看不清,Clef 盲猜 500mL,置信度只有 0.10 左右;Jev 和 OpenAI 都正确返回“无法确定”。红豆薏米水左侧较小的“0糖”字样,OpenAI 漏判。白桃茉莉冰茶,OpenAI 误判成气泡水。
Jev 自己也有打架的时候:低糖青柠款容量选出 600mL,置信度 0.51,但同一张图的容量可见性概率只给了 0.10。两个字段互相矛盾,业务逻辑得防着这一手。
30 项分类判断,Jev 与另外两者的—致率都是 28/30。
顺带说一句本地部署。想在 Ollama 上复现 Clef Flash 9B 这类视觉模型,显存是硬门槛:9B 参数量在 FP16 下权重就占约 18GB,加上视觉编码器和 KV 缓存,单卡 24GB 才比较稳。显存不够时典型报错是 CUDA out of memory,根因通常是上下文长度设太大或并发请求叠加。处理路径无非三条:量化到 Q4/Q8、调小 num_ctx、限制并发数。拉模型阶段若卡在 pulling manifest,多半是网络到 registry 不通,配代理或换镜像源即可,跟模型本身无关。
盲测怎么做,结论才算数
官方标注实验功能,定位有偏移,题目间置信度还会矛盾。把能力接进业务前,拿自有商品图跑盲测是绕不过去的一步。盲测不是随便抽几张图问问,得有章法。
样本要分层。按品类、包装版式、拍摄条件(正面、侧面、反光、遮挡)切桶,每桶至少几十张,保证混淆项成对出现——0 糖和低糖、500mL 和增量装、单瓶和整箱,这些才是真正会出错的边界。
判定标准提前定。分类题看两项:choice 是否正确,可见性概率是否落在合理区间。一致率按题统计,别只报总分,某一类题全错总分也可能好看。定位题用 IoU 校验,框与人工标注的交并比低于阈值就算不中,同时单独统计“目标不存在却返回框”的假阳性率。
置信度阈值也要校准。拿一批标注好的图跑出概率分布,看哪个阈值下误拦和漏放的比例可接受,再写进人机复核规则:低置信度直接转人工,高置信度自动放行,中间区间抽检。
它在上架流程里站哪个位置
实测下来,Jev 的合理角色是“结构化初筛 + 区域辅助核验”。
商户资料填 0 糖、模型判低糖,系统立刻拦截,顺手圈出糖标示位置让人复核;侧面反光看不清、单图冒充整箱,直接触发补图流程。这套组合拳能挡掉大部分明显错误。
但实验功能、定位偏移、置信度自相矛盾这三点摆在那,接入前必须用自有商品图跑通上面那套盲测,把复核规则写死。模型给的是概率,不是判决书。
ID:6966