Jianhua Li 等 · Apple Machine Learning Research · 阅读原文
原始来源:Jianhua Li 等 · Apple Machine Learning Research
发现渠道:Hacker News
Apple的Minions把嵌入生成或LLM completion拆成子任务,由Mac执行器通过REST领取,在本机GPU上运行,输出写到对象存储。PostgreSQL唯一约束决定领取归属,Watchdog回收失联任务。它利用现有设备扩展批推理,并非把一个大模型的张量计算跨Mac拆开。作者报告部分排队从十小时以上缩短到分钟级,但没有给出完整任务分布、吞吐与成本账单;“零成本”主要指不再采购GPU,不能据此免除运维、存储和电力。
可信度 65 · 重要性 72 · 新颖度 70
技术与主题
系统与效率 · 检索与知识 · Task-Level Parallelism · Atomic Task Claiming · Failure Recovery
railka
针对同一Minions论文的解释性评论,非作者确认或独立性能测试。
忠实转述(非原句):他把Minions解释为企业内部的闲置Mac算力池,强调没有对单一LLM进行张量并行,而是把大工作分成独立子任务;生成大量文档嵌入是他给出的例子。
dekhn
自述曾参与Google闲置算力项目;经历与专利身份此轮未独立核实,不是Minions复测。
忠实转述(非原句):他认为利用闲置算力是好主意,并回顾自己过去的相关工作。随后指出实际系统常会遇到很长的尾延迟、设备异构造成的小兼容问题,以及数据库或调度管理问题。
编辑评读
这个设计适合能拆成独立单元的批任务。任务记录和输出对象分开,执行器掉线后重新领取,能适应个人设备间歇可用;对低优先级嵌入生成,这是比追求连续在线设备更实际的资源利用方式。
领取唯一性只约束数据库中当前有一个归属。若机器被判失联后又恢复,旧执行器是否还能写回结果、重执行是否重复计费,仍需看完整实现的租约和提交语义,原文没有给出足以证明恰好执行一次的细节。
外部评论把适用范围收得更清楚:railka解释任务级并行,dekhn提醒异构设备与长尾问题。后者回顾自己的算力收集经历,并未测试这套Apple系统。采用前最该量的是截止时间内完成比例,以及参与设备原本工作受到的干扰。
需要留意
- 资源复用不等于零总成本
- 自报排队改善缺完整分布,未找到独立实测。