小米在9月27日技术复盘中区分了正常并行、调用泛滥和无理由重复。其可复现指标只统计同一轮内工具名与规范化 JSON 参数完全相同的调用,因而漏掉跨轮循环、近似参数及代码模式中的调用。指标只是重复下限;合理重试或改码重测不算故障。
固定问题样本回放显示,Flash 在强化学习第0至20步的调用泛滥样本占比从11.1%升至24.6%。团队认为原有单轮超过32次调用才惩罚的门槛过宽;改成8次能压低泛滥,但全规模重训20步估算需231万美元,某内部测试集的重复率仍只从13.45%降至3.83%。这些数字并非全部用户请求发生率。
最终方案先用约7000个样本、12步训练专门教师,学习何时结束调用,再通过多教师在线策略蒸馏 MOPD 合入主模型。官方称修复训练约9万美元,是前述 MixRL 方案估算成本的4%,跨框架重复率显著下降且通用评测保持稳定。新模型已于9月25日06:00北京时间进入 API,并开放带 MOPD 后缀的权重。
💭 分析:这提供了具体诊断路径:先区分行为、固定样本回放,再检验局部修复是否保留整体能力。不过成本和效果均为小米内部测量;教师测试集上零重复不代表生产环境完全消除循环。还需独立检验跨轮、近似调用以及真实任务完成率,才能判断是否真正减少了无效等待。
来源:MiMo 官方完整复盘