Zhenning Shi、Liang Pang、Yongqi Li · MICA · 阅读原文

原始来源:Zhenning Shi、Liang Pang、Yongqi Li · MICA

发现渠道:Hugging Face Daily Papers

给 Agent 接上相同工具,就能公平比较接口吗?MICA 研究的是更严格的问题:可执行动作、参数和环境状态保持一致,只改变模型看到和表达这些动作的方式。MCP(模型上下文协议)在这里呈现具名工具与结构化参数;CLI(命令行接口)呈现命令和参数文字。两种输出都被解码成同一语义动作,交给共同的校验与执行过程。

作者在六个模型、三个交互环境中比较它们。家庭任务 ALFWorld 中,Qwen3-14B 的成功率从 MCP 的20.1%变为 CLI 的56.7%;购物任务 WebShop 中却是 MCP 的64.4%高于 CLI 的59.5%。结果没有给出一个处处更好的接口。2,004对轨迹中,94.3%出现有后果的结构性分歧;这个比例表示执行过程不同,不是失败率。

论文还在同一个决策状态下分别改变能力说明、动作表达和反馈形式,观察局部差异如何进入后续历史。由此提出 DART:先校验想执行的动作和参数,若意图有效、只是接口表达出错,就固定这个决定,只修表达;不能维持有效承诺时,交回普通策略重新处理。

DART 的收益来自 Gemini-2.5-Flash 在三个环境乘两种接口的六个设置,而非六个模型都验证过。各设置得分增加0.8至9.0个百分点;MCP 的 token 消耗均下降,CLI 两个环境反而增加。它提供了一个清楚的修复边界,收益和成本仍依赖具体场景。

可信度 65 · 重要性 91 · 新颖度 90

技术与主题

Agent 系统 · 评测与基准 · MCP · CLI · Controlled Experiments · Error Recovery

编辑评读

这篇工作的贡献,是把常被混在一起的两个变量拆开:Agent究竟能做什么,以及它怎样理解和调用这些能力。若CLI额外允许任意脚本,MCP只有几个封装动作,胜负可能来自能力集合。MICA用共同动作契约约束比较,因此更有理由把观察到的差异归于接口表示及其带来的交互过程。

DART的启发也很具体。一次格式错误不一定意味着原来的选择有错;把整步交回模型重想,可能改变目的或参数,制造新的失败。保留已经校验过的动作,只重写调用形式,有机会避免这类漂移。但前提是状态和约束仍有效,不能把过时决定固化,也不能把所有业务错误都当成语法问题。

在自己的Agent上,可先对照同一失败轨迹,区分选错动作、参数不合法和表达未被解析,再决定修哪一层。若要做接口实验,应固定后端、任务与预算,并同时记录成功率和总调用成本。这些是可迁移的方法建议;本文未执行部署实验,也不把模拟环境里的增益直接当成真实业务收益。

核查依据

所属事件

收录记录