Igor Slinko、Yaroslav Golubev、Sergey Titov · JetBrains Research · 阅读原文
原始来源:Igor Slinko、Yaroslav Golubev、Sergey Titov · JetBrains Research
发现渠道:Hugging Face · Daily Papers
作者分析 4,782 个 IDE Agent 会话,并聚焦其中至少三条用户消息的 33%。真实请求混合解释、计划、审查和实现;SWE-TaskFlow 保留已验证任务和测试,把需求分步给出,再插入可核验的仓库问答。700 个 SWE-Bench Pro 任务的试验中,拆分需求约使费用翻倍,却未形成稳定的解决率排序。这是交互协议的测量,不是“多聊几轮一定更差”。
可信度 65 · 重要性 76 · 新颖度 76
技术与主题
Agent 系统 · AI 编程 · 评测与基准 · Interactive Evaluation · SWE-bench · Task Flow
编辑评读
保持代码目标与最终测试不变,只改变信息何时出现,是这项工作的价值。它把模型会不会修补丁,与能否跟随逐步变化的需求分开测量。同样一个通过率,如果一个方案需要更多往返,另一个要求用户预先写出完美需求,体验和成本都不同。
长会话只占原始样本三分之一,不能据此描述全部用户。任务类型由模型分类并有人审阅,类型分布仍有分类误差;合成问答与真实用户临时改主意也不同。TaskFlow Alignment Score 衡量分布对齐,不是软件质量,更不证明高分轨迹一定适合别的 IDE。
比较产品时,可以保留原有补丁验收,再增加需求追加、解释已有行为、纠正错误理解等过程检查。要固定任务集合与预算,分别报告最终成功、费用、用户介入和关键中间答案;避免用更多对话次数冒充更多独立任务。
需要留意
- 本轮未找到针对这项试验的独立复测。