- 浏览器 Agent 为什么越跑越贵:从缓存命中查起
- 用火焰图找到真正工作的线程
- 把五选一概率和正确率分开测
- 推测解码为什么多算了一些,反而更快?
- 从真实轨迹解释系统为何过载后难以恢复
- 沿一次工具调用错误,理解约束解码能保证什么
- Agent 成本优化:先看看缓存有没有被自己破坏
- 多 Agent 写代码,怎样把验证放进流程
- Nathan Lambert:进展会很快,但会走向哪里?
- 一个普通用户的评测困惑:会做一次,还是稳定做对?
- ttok 1.0 调整默认 tokenizer
- TokenRouter:模型路由的收益,可能被调度开销吃掉
- Mac 流式推理:页对齐与同步等待,怎样拖慢首 token
- 昇腾 310P 上的本地 MoE 调试:先找数值参照,再优化内核
- Context Mode:压缩比例、任务费用与检索遗漏要分开看
- Anthropic:小模型能搭起推理,完整自主复制仍有缺口
- MetaKernelBench:存下来的经验,也可能让下次优化退步
- Minions:让闲置 Mac 领取推理批任务,先看适用的并行粒度
- IBM 的开放模型芯片探索:推理费少了,最优设计也不同
- vLLM 用在线校准扩大自适应验证:预测的是接受率
- PRISM 向量索引:先分区再重排,过滤查询仍要单测
- Scion 的设计出处争议:Mononoke 原参与者要求更明确归属
- MAI-Base-2 的训练笔记:重复数据缩放与固定内存 MoE
- Muse Spark Open 开放权重:能装入桌面集群,仍要另测速度
- Simon 的 SPARQL 扩展尝试:验证循环也会大量消耗 token
- Kimi K3 的 AMD 推理优化:缓存要能在同一位置恢复
- DeepSeek 1017 的便宜,要放回同一组任务里看
- “花了多少 token”之后,还得问活做完没有
- llmspeed 把本地推理估速变成等待体验
- Agens Volundr v1:优先修循环和续接,低显存运行仍有代价
- EmbeddingGemma 转写实验:用共享向量空间读出语音
- HybridAgent:内部用潜在状态思考,对外仍能调用工具
- Timestral:让数值预测用上已知的未来条件
- Maxwell 的运行时优化:等价性承诺需要分清适用层次
- Mercury 3 发布:扩散文本模型扩至百万 token 上下文
- DeepInfer 开放推理核心,完整服务仍有三块拼图
- TorchTPU:兼容 PyTorch 之后,性能来自整步编译
- StopLoss:小模型决定何时停下,账单必须算入误停
- 子代理何时该合并:先看它们是否反复传递同一份上下文
- ThinkingCap 缩短 Gemma 推理,但平均分会藏住单项退步
- GPU-unlock:矩阵计算更快,逐字生成未必跟着加速
- Skyvern:调用更多、总 token 更多,网页任务反而更快更便宜
- Cerebras 怎样把万亿参数模型分布在多片晶圆上
- 本地模型的实际难题:硬件投资能用多久
- Cloudflare 的155次串读:被拒绝的请求为什么仍然生成了答案
- 工具参数写错,可能需要修推理服务:Ubicloud 的 vLLM 排查
- FLORA 把机器人视频变成可用标签:做了什么,与做得怎样分开
- LFM3:小模型的价值,落在内存、专用输出和真实部署上
- Scaling Hierarchical Networks:让模型学习怎样把字节合成更大的单元
- Nemotron 3.5 Transcribe:转写准确之前,先说清要写成什么样
- tinyworldformer:小模型能运行游戏,也会给玩家留下漏洞
- SkyPilot 的 27%:让故障机架继续贡献可用 GPU
- Mistral Large 4 开放权重:稀疏计算之外,还要看缓存怎么放
- 推理快了、总分近似不变,就能说质量不变吗?
- Lambert 推荐的 RL 方法表:先看它纠正哪一种偏差
- BootGPT:启动扇区里的小语言模型
- tandem.cpp:让放不进显存的专家,分给 CPU 和 GPU 计算
- Message threads:少传历史,模型仍读完整对话
- Pando:让不同分支并行写入,让读取复用同一批数据
- Lambert:开放模型的机会,在便宜而反复发生的任务里
- FlashProve:回答来自哪组权重,开始有了可检查的证明
- OpenHands × Snowflake:让模型在真正使用的工具循环里训练