持续追踪

LFM3:小模型的价值,落在内存、专用输出和真实部署上

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-28 · 当时的记录

本地模型不仅要回答得对,还要在设备能承担的内存和延迟内完成工作。Liquid AI 发布 LFM3 系列,文本、视觉、音频、全模态及两个 Decisions 模型共用约 17 亿参数的骨干,组成六个约 20 亿参数的模型。它把不少全局注意力换成门控短卷积与滑动窗口注意力:前者处理局部序列,后者只查看附近位置,保留的全局层再承担长距离联系,从而减轻长上下文的缓存负担。

这不是单纯把大模型缩小。Decisions 版本面向一批明确问题,在一次模型计算中并行输出选择、范围、位置框或文本片段,适合分类、提取等任务,减少生成长解释的成本。团队还把真实设备上的测量用于架构选择,说明模型结构与部署后端需要一起考虑。

厂商报告四比特权重约 1GB;这不包括全部运行内存。其 128K 上下文测试中,用于复用先前 token 计算结果的 KV 缓存约 1.6GB。速度比较则限定在 llama.cpp、特定量化、32K 输入和短输出等条件,不能直接代表手机应用的端到端体验。模型卡也明确不推荐复杂多步推理或 Agent 编程;可下载权重采用 LFM Open License 1.0,使用前仍需读具体许可。

本次记录的观点:colingauvin · dchuk

回到当期正文 ↗

查看依据原文 · 原始依据