Blockway · 模型卡与引擎 / mmssix · Preview 测试 · 阅读原文

原始来源:Blockway · 模型卡与引擎 / mmssix · Preview 测试

发现渠道:Reddit · r/LocalLLaMA

Blockway 把 Volundr 32B v1 的主要改动放在 Agent 长任务的可用性上:完成继续预训练,再用多轮对话、重复失败轨迹和长度偏好调整行为。官方报告,在同一组 50 个 SWE-bench Verified 子集任务中,出现循环的任务从 36 个降到 0 个,解题数从 22 增至 27,任务耗时中位数从 124 分钟降至 82 分钟。这不是完整 SWE-bench,也不表示未来不会循环。部分通用评测反而下降,模型卡没有把取舍隐藏掉。

架构的 72 层中有 54 层保留固定大小状态,只有 18 层需要 KV 缓存;会话续接进一步复用已有状态,避免每轮重读全部历史。面向这一结构的 Agens Engine 提供低位量化和主机内存分层缓存。发布帖介绍的是 1.0,当前文档已更新到 1.1.0:增加图像输入和采样式投机解码,也修复若干缓存与显存问题,不能继续把旧帖的“纯文本”限制和旧速度表当作最新版。

可信度 65 · 重要性 86 · 新颖度 68

技术与主题

Agent 系统 · AI 编程 · 系统与效率 · Hybrid Architecture · Session Continuation · Quantization · Speculative Decoding

Mike A

观点原文

对 Preview 而非 v1 的个人测试;RTX PRO 6000 Blackwell 96GB,比较不同服务引擎,非严格单变量实验。

忠实转述(非原句):作者在自己的测试包中看到了相对平稳的长上下文解码速度,但也遇到一轮聊天用完约 49K token 思考预算却没有可用答案,以及重复标记。代码包里有些输出很长,整套运行明显慢于 Qwen 对照。他同时披露了推理档位、引擎和并发评判的差异;这些结果指出旧版的实际痛点,不能据此判定新版改善了多少。

编辑评读

“16GB 可运行”首先是资源配置声明。官方在一张 48GB 显卡上设置 16GiB 硬上限,测到约 239K 上下文、15.5GiB 峰值;这不是实体 16GB 显卡的测试。完整窗口还要求至少 32GB 主机内存,长文预填充要等候,启用图像后可用文本上下文也会缩小。低位量化的质量损失同样存在:GPQA 的报告值为 73.7,对比 bf16 的 80.3,且两者使用 best-of-4 口径。

有价值的外部证据来自 mmssix 对 Preview 的自建测试:长上下文解码较平稳,但耗尽思考预算和重复显著拖慢整套任务。这解释了团队为什么优先修循环,却不能充当 v1 已经修好的独立确认。真正的下一步是用相同任务、终止条件和实际消费卡重测 v1,把完成率、整项耗时、内存和量化损失一起记录。

核查依据

所属事件

收录记录