Apple的Minions把嵌入生成或LLM completion拆成子任务,由Mac执行器通过REST领取,在本机GPU上运行,输出写到对象存储。PostgreSQL唯一约束决定领取归属,Watchdog回收失联任务。它利用现有设备扩展批推理,并非把一个大模型的张量计算跨Mac拆开。作者报告部分排队从十小时以上缩短到分钟级,但没有给出完整任务分布、吞吐与成本账单;“零成本”主要指不再采购GPU,不能据此免除运维、存储和电力。
持续追踪
持续追踪
Apple的Minions把嵌入生成或LLM completion拆成子任务,由Mac执行器通过REST领取,在本机GPU上运行,输出写到对象存储。PostgreSQL唯一约束决定领取归属,Watchdog回收失联任务。它利用现有设备扩展批推理,并非把一个大模型的张量计算跨Mac拆开。作者报告部分排队从十小时以上缩短到分钟级,但没有给出完整任务分布、吞吐与成本账单;“零成本”主要指不再采购GPU,不能据此免除运维、存储和电力。