重点读评测与基准 / 多模态 / 训练与对齐
追踪记录 ↗
Josh Clemm · Figma工具与产品2026-10-29
技术Design EditingSynthetic DataLLM-as-a-Judge
设计师一天里反复做的,常是调整间距、换组件、根据反馈修改布局。重新生成一张漂亮图片,并不能保证原有组件关系和未要求修改的部分被保留。Figma 从这个具体任务出发,用原生文件格式表示设计,让专用模型输出可以直接作用于画布的改动。
训练样本包含起始设计、合成编辑请求和成功修改。较大的教师模型先尝试编辑,确定性检查器检查格式等约束,视觉评判器检查请求是否实现;失败候选可以根据反馈重做。早期 Llama 3.3 70B 版本用了超过25万条样本。团队随后换用更强底座,并引入强化学习,希望改善单纯模仿训练的泛化与样本效率。
评估也被拆成几件事:对齐、对比度、指令完成度,以及是否用了正确组件。设计专家参与校准视觉评判器。原图显示,在445个编辑案例上,尚未发布、基于 Qwen 3.8 27B 后训练的版本获77.8%,GPT 6.1 Sol 获76.9%;这是内部自动评测,不能把很小的分差当成普遍优势。
正式产品结合自研编辑模型和第三方模型,分别处理精确修改与图像、矢量等任务。Figma 报告从测试版到正式版典型任务约快20%、用户撤销减少60%。原文明确这些变化来自模型、工具和运行框架共同改进,并不是专用模型的单独因果效果。
图片暂不可用,请查看来源。
Figma 早期训练流程:画布、对话和设计系统提供上下文;生成样本经过评估与修改,设计师标注再用于校准评判器。图示描述方法,不代表产品增益的单因素归因。Figma · Josh Clemm,原文训练流程图 · 原文方法图 · 图片出处 ↗编辑评读
最有用的思路是先确定用户想保留什么。设计修改的难处常在“只动这里”:按钮换了样式,层级、布局和其他组件仍要正常。原生表示把这些对象变成可操作内容,结构检查与视觉判断各自承担不同问题。它让专门训练有了明确目标,也减少了用长提示反复解释文件语法的需求。
这并不要求先找到一个覆盖所有审美的总分。可以先区分可机械核对的关系、能由专家解释的偏好,以及这次请求的特定目标,再看哪类失败值得进入训练。专家校准评判器的价值,是让反馈靠近真实编辑要求;仍需留出未用于调校的设计,检查模型是否只是学会取悦评分。
若迁移到文档、表格或代码编辑,可以保留“修改前、用户请求、修改后”的成组记录,并检查未要求变化的部分。比起照搬77.8%的分数,更值得比较的是反复编辑后的可用性、需要人修补的地方和等待时间。本文没有进行这样的比较;当前证据支持这条产品与训练路线,尚不足以量化每个组成部分的独立贡献。
依据 1
重点读Agent 系统 / 评测与基准
追踪记录 ↗
Zhenning Shi、Liang Pang、Yongqi Li · MICA研究进展2026-10-30
技术MCPCLIControlled ExperimentsError Recovery
给 Agent 接上相同工具,就能公平比较接口吗?MICA 研究的是更严格的问题:可执行动作、参数和环境状态保持一致,只改变模型看到和表达这些动作的方式。MCP(模型上下文协议)在这里呈现具名工具与结构化参数;CLI(命令行接口)呈现命令和参数文字。两种输出都被解码成同一语义动作,交给共同的校验与执行过程。
作者在六个模型、三个交互环境中比较它们。家庭任务 ALFWorld 中,Qwen3-14B 的成功率从 MCP 的20.1%变为 CLI 的56.7%;购物任务 WebShop 中却是 MCP 的64.4%高于 CLI 的59.5%。结果没有给出一个处处更好的接口。2,004对轨迹中,94.3%出现有后果的结构性分歧;这个比例表示执行过程不同,不是失败率。
论文还在同一个决策状态下分别改变能力说明、动作表达和反馈形式,观察局部差异如何进入后续历史。由此提出 DART:先校验想执行的动作和参数,若意图有效、只是接口表达出错,就固定这个决定,只修表达;不能维持有效承诺时,交回普通策略重新处理。
DART 的收益来自 Gemini-2.5-Flash 在三个环境乘两种接口的六个设置,而非六个模型都验证过。各设置得分增加0.8至9.0个百分点;MCP 的 token 消耗均下降,CLI 两个环境反而增加。它提供了一个清楚的修复边界,收益和成本仍依赖具体场景。
图片暂不可用,请查看来源。
MICA原文图1:上方把MCP与CLI映射到同一语义动作和执行器;右侧比较同状态与后续轨迹;下方DART保留有效动作承诺,只修接口表达。由PDF图区直接栅格化,文字未改写。Zhenning Shi、Liang Pang、Yongqi Li · arXiv:2610.34298,图1 · 论文方法图 · 图片出处 ↗编辑评读
这篇工作的贡献,是把常被混在一起的两个变量拆开:Agent究竟能做什么,以及它怎样理解和调用这些能力。若CLI额外允许任意脚本,MCP只有几个封装动作,胜负可能来自能力集合。MICA用共同动作契约约束比较,因此更有理由把观察到的差异归于接口表示及其带来的交互过程。
DART的启发也很具体。一次格式错误不一定意味着原来的选择有错;把整步交回模型重想,可能改变目的或参数,制造新的失败。保留已经校验过的动作,只重写调用形式,有机会避免这类漂移。但前提是状态和约束仍有效,不能把过时决定固化,也不能把所有业务错误都当成语法问题。
在自己的Agent上,可先对照同一失败轨迹,区分选错动作、参数不合法和表达未被解析,再决定修哪一层。若要做接口实验,应固定后端、任务与预算,并同时记录成功率和总调用成本。这些是可迁移的方法建议;本文未执行部署实验,也不把模拟环境里的增益直接当成真实业务收益。
依据 1
值得读AI 编程 / 基础模型
追踪记录 ↗
Drew Breunig · nesformer研究进展2026-10-30
技术Gated DeltaNetNeural CompilationConformance Testing
nesformer 演示了一件古怪而明确的事:不训练模型玩游戏,而是把 NES 的6502处理器与部分内存编译成一个神经网络计算过程。它沿用 Divyansh Agrawal 的 Qwenputer 编译器,利用 Qwen3.5 架构中 Gated DeltaNet 的可更新状态——一块能随输入写入和读取的内部存储——来承载内存。权重由程序构造,不能理解成语言模型自己学会了仿真器。
项目实现151条官方处理器指令、2KB RAM和32KB程序ROM。DeltaNet状态承担可更新存储,网络层执行被编译的计算;绘图单元、控制器输入和时序事件等仍由宿主程序处理。产物遵循 Qwen 模型接口,但只有约4.67亿参数,并不是把原来4B模型的预训练权重直接拿来运行游戏。
README把验证拆成多个层次:参考CPU与既有仿真器核对,编译电路与参考token核对,再检查标准 Transformers 路径。作者报告参考CPU与 py65 对照了570万条游戏指令;标准框架路径核对了2,651个位置。不同规模的数字属于不同层,不能合并成对所有执行路径的完整证明。
即使用跳过零块的专用执行器,整体仍比真实主机慢150至290倍,也只支持部分卡带类型且没有音频。它的意义主要在展示可编程的神经网络计算与状态,而非提供更好的游戏模拟器。作者强调,成熟规格、参考实现和一致性测试,让这次借助编码Agent的构建变得可行。
语境:作者回应项目构建过程;不是独立使用者复现。 · 读取时间:2026-10-31T00:22:01.115622+00:00
回应原帖:查看原帖上下文
逐句忠实转述(非原文)Breunig说这是一次为了好玩而做的尝试,预先知道会很慢。他把成功归于现成编译器、经典主机的成熟资料和一致性测试,而不只归于模型能力。
语境:HN读者追问技术意义。 · 读取时间:2026-10-31T00:22:01.115622+00:00
回应原帖:查看原帖上下文
逐句忠实转述(非原文)WoodenChair质疑:既然数字逻辑本来就可以转换成权重,这个项目究竟增加了什么?这个问题有助于把可实现性演示与效率、学习能力上的突破分开。
编辑评读
这个项目最值得保留的判断变化是:“在模型权重里运行”不必意味着“通过数据学出来”。这里的网络更像编译目标,程序利用其算子和有状态结构表达确定计算。因而它不能证明训练出的语言模型已经可靠地内化了计算机,也不能用运行慢来估计所有语言模型任务的效率。
作者在HN说明,编码Agent只用了两次初始指示便开始构建,但紧接着解释了更重要的条件:已有Qwenputer编译器、长期积累的仿真资料,以及能逐指令核对的测试。这个背景避免把成果读成单凭一句提示创造完整系统。可迁移的部分,是为复杂构建准备明确目标、参照输出和定位差异的路径。
读者可以沿一条内存写入去看宿主、网络层与状态各负责什么,再检查对应测试覆盖到哪一层。若将来要把某个工具真正移进模型内部,需要额外回答计算成本、状态容量及外部输入怎样进入的问题。当前项目已经给出可检查的实现,尚未证明这种安排比普通工具调用更经济。
依据 1 · 依据 2
重点读Agent 系统 / 具身智能
追踪记录 ↗
YC Labs、Olam Labs研究进展2026-10-29
技术Multi-Agent SystemsGame EnvironmentsCoordination
YC Labs 与 Olam Labs 把通用Agent放进 Minecraft 和 Mindustry,观察长期协作会产生什么行为。Minecraft 的 Civ50 实验给50个 GPT-6.1 Sol Agent 三小时和一个宽泛目标:建设繁荣文明。它们能看名单、发送私信、共享文件并写脚本,底层通过游戏API操作世界。
村落并没有蓬勃扩张。第一夜死亡后,许多成员减少冒险,食物生产成为主要任务。它们也确实形成了合作:有人写钓鱼脚本和操作说明,有人做饭、登记配给、配送。一次鸡肉被旁人误拿,引出了指定箱子领取和确认实际吃下的流程;后来又出现为一次施肥花很久任命专职操作者的情况。记录呈现的是协调既解决真实冲突,也可能扩大为负担。
一个特别值得追踪的细节是,其他49个成员中有46个先给名单首位 Ada 发消息,她随后成了协调中心。页面给出了原始消息、共享文件和可回放片段。它支持“这个运行出现了中心化”的观察,却没有通过随机调换名单证明顺序是唯一原因。
其他对战中,GPT阵营在九场 Bed Wars 中6比3获胜,在七场 Mindustry 中6比1获胜。后者分别使用 Codex 和 Claude Code,虽然游戏API一致,模型与运行框架仍同时不同。胜负适合生成后续研究问题,不能单独解释成一种模型天生更会合作。
hridyaagrawal · 原帖 / 原文
语境:针对名单首位成为协调中心的观察。 · 读取时间:2026-10-31T00:22:01.115622+00:00
回应原帖:查看原帖上下文
逐句忠实转述(非原文)他建议为每个Agent分别打乱名单,再看Ada是否仍成为领导。只有改变排列条件,才更容易判断中心化是否来自运行框架的顺序偏差。
语境:针对Bed Wars中的防守策略。 · 读取时间:2026-10-31T00:22:01.115622+00:00
回应原帖:查看原帖上下文
逐句忠实转述(非原文)他追问:如果Claude相信床确实可以被破坏,还会采用同样的防守策略吗?原文提到的工具故障,使“偏保守”存在另一种解释。
编辑评读
这些实验的可取之处,是把“协作”变成能重新查看的行为:一条指示怎样传递、脚本有没有被复用、物资最终有没有到达。钓鱼分工说明共同文件与程序能形成可用能力;误送鸡肉后的确认流程也有明确理由。若只摘取官僚化的笑话,会丢掉流程为何产生,以及它曾解决什么问题。
问题出在修复一次错误之后,规则是否仍与当前代价相称。游戏里的动作延迟、可见范围、工具错误和饥饿状态都可能使保守策略更合理。HN读者指出,破坏方块的工具故障可能影响防守选择;另有人建议给每位Agent不同的名单顺序。这些是可检验的解释,目前都不是已经完成的对照。
一个有用的后续实验,是保留相同模型和运行框架,分别改变名单顺序或交接方式,比较任务进度、等待和实际资源,而不仅数消息。若新增协调者减少重复采集,却让所有人等待批准,就需要同时看两种后果。游戏不会自动代表公司运营,但公开轨迹能让这类组织设计问题先获得可重复观察的对象。
依据 1 · 依据 2 · 依据 3
值得读评测与基准 / 检索与知识
追踪记录 ↗
Somya Chatterjee 等 · Microsoft Research研究进展2026-10-30
技术Synthetic Enterprise DataTemporal EvaluationRAG
企业助手需要处理的不是孤立问答。一个项目的决定可能散在邮件、会议和文档里,人员关系和时间先后也影响答案。真实客户资料又不适合随意拿来共享测试。微软介绍的 Industry Evaluation Data Generation Platform 因此先合成一套企业环境,再从其中生成评测问题。
环境包含组织、员工、通信与项目历史;微软称这种隔离工作区为 tenant。角色与工作频率参考 O*NET 职业资料,岗位信息帮助构造职称和部门,公开财报提供组织规模等背景。制药、资本市场和软件公司三类环境各有不同工作流程,并让邮件线索和项目决定随时间展开,以支持“上次讨论后改变了什么”之类问题。
问题生成也不是任意编一句:先从常见工作任务筛选行业适用项,再加入领域语言,绑定合成环境里的具体资料,改写成自然提问,最后核查准确性与重复。结构、语境、行为和内容检查用来改善生成数据。团队报告相对早期生成方案,内部综合质量分提高39%,每个环境包含数百名用户。
这39%衡量的是合成数据质量,不是Copilot答题准确率。环境目前进入微软内部共享目录;本文没有获得公开数据集或独立复测。多轮交互、跨更长时间的组织变化以及实际执行动作,仍被原文列为后续评测方向。
编辑评读
这条路线的新能力是让企业任务能被反复构造、共享和回归测试。普通文档问答容易漏掉时间关系:答案引用了一份真实文档,却可能引用的是旧决定。先构造组织与历史,再从其中出题,可以把这些关系纳入题目的生成条件,减少只有表面行业词汇的测试。
公开职业和组织资料能约束角色分布,却不能自动保证每封邮件都像真实工作。内部质量分上升说明生成器更符合既定标准,仍需要检查这些标准是否能预测真实任务中的错误。尤其生成器和评判器若使用相近假设,很容易共同偏爱整齐、明确的沟通,而漏掉真实企业里的省略、反复和冲突。
可迁移的做法是先写出一个要测试的关系,例如同一决定被修改之后,助手能否区分旧版本与新版本,再生成承载这个关系的材料和问题。这样合成环境服务于可说明的能力,而不只追求更像一家公司的外观。若要证明现实收益,还需在适当权限下用实际任务验证排序是否一致;这是后续建议,不是微软这篇文章已经给出的结果。
依据 1