DeepSeek · 模型卡 / Fabulous_Pollution10 · 独立测试 · 阅读原文
原始来源：DeepSeek · 模型卡 / Fabulous_Pollution10 · 独立测试
原始来源：u/Fabulous_Pollution10 · r/LocalLLaMA 原测试
发现渠道：Hacker News · AI
获取渠道：原站公开正文
DeepSeek 将 V4.1-Flash-1017 定义为一次小幅更新，重点是推理、编程和视觉能力，以及更短的输出和执行时间。官方模型卡给出的 Terminal-Bench 4.0 从 31.2 升至 42.3，使用 Claude Code harness；DeepSWE 1.1 从 74.2 升至 77.0，使用 Mini-SWE-V2。这些是官方特定运行框架下的结果，不能与换了工具、提示或重试规则的分数直接比较。部署说明也有实际细节：项目提供 Python 编码参考和 deepseek-recipe 的 Rust 绑定，没有直接可用的 Jinja 模板；推理、工具执行与 HTTP 服务仍由接入方负责。
更贴近日常选型的是 u/Fabulous_Pollution10 的独立小实验：从自己的工作中整理十个编程任务，每题运行三次，用隐藏测试验收。新版本搭配 Pi、高思考档位时 30 次全部通过，平均每任务约 0.045 美元、约 55 万 token，作者报告速度约为九月版本最高思考档的 1.7 倍。这里的低账单与大量输入命中缓存有关，不能只看 token 总量。低思考档位下，Pi 为 27/30 次通过，原生 harness 为 29/30；但两者“同一题三次都通过”的任务比例都是 90%。这个差别恰好说明，一次运行成功率和稳定完成一项任务不是同一个指标。
可信度 65 · 重要性 83 · 新颖度 65
技术与主题
AI 编程 · 系统与效率 · 评测与基准 · Coding Agent · Harness · Prompt Cache · pass@1
Fabulous_Pollution10
作者在 Nebius 从事编程 Agent 环境与评测；这组任务来自其个人工作，不是公司通用模型排名。
忠实转述（非原句）：作者先想知道轻量框架是否能少花 token 完成自己原来的工作，再把模型与思考档位加入比较。他逐项报告每次尝试和每题三次全对的比例；原生 DeepSeek 低档位虽然多做对两次尝试，仍有一题无法三次全对。对他而言，多个组合已经满足任务要求，接下来才有理由比较速度与费用，而不是单凭便宜认定质量相同。
Puzzleheaded_Ad_8575
同一测试帖的直接评论；核对了账号与评论永久链接。
忠实转述（非原句）：评论者承认这是一份价格比较，但要求换用能更好区分能力的任务集。他认为，所有组合都是100%时，结果不能说明“每美元的智能水平”；只有更有区分度的基准才能回答后一个问题。
编辑评读
这份小实验的价值是提供一个可以复做的选型问题：在自己的任务和验收条件固定时，更便宜的模型与运行框架能否替代当前组合。多个配置都做对全部任务，会削弱它对模型能力上限的区分，却仍能帮助作者寻找满足现有需求的低成本方案。十题规模太小，且任务由作者筛选，不能推出通用榜单结论。
框架比较也没有隔离单一变量。作者披露原生框架系统提示约 7,000 token，Pi 约 3,000；文件读写工具与 bash 使用方式不同。低档位原生组合更贵、token 和步骤更多，可能来自提示、工具策略和成功路径的共同变化。值得带走的是同时记账单、墙钟时间、缓存、失败次数和人工收尾；不能把较低 token 单价直接等同于较低交付成本。