持续追踪

IBM 的开放模型芯片探索:推理费少了,最优设计也不同

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-14 · 当时的记录

IBM用一个协调者和四个工作者优化Relay-BP量子纠错解码器,每种配置搜索100个假设,并用正确性检查与高层综合反馈排序。开放模型方案报告推理费约26美元、HLS延迟估计相对基线加速52倍;专有方案为299美元、204倍。11.5倍费用差异并非同质量结果的价格比。开放方案生成约2.41亿token,反而多于专有方案的2.16亿;低费用同时来自本地模型与llm-d服务。每配置只搜索一次,费用只计各角色模型推理,未计综合工具、完整验证和人工。

回到当期正文 ↗

查看依据原文 · 原始依据