Josh Clemm · Figma · 阅读原文

原始来源:Josh Clemm · Figma

发现渠道:AI热点聚合线索

设计师一天里反复做的,常是调整间距、换组件、根据反馈修改布局。重新生成一张漂亮图片,并不能保证原有组件关系和未要求修改的部分被保留。Figma 从这个具体任务出发,用原生文件格式表示设计,让专用模型输出可以直接作用于画布的改动。

训练样本包含起始设计、合成编辑请求和成功修改。较大的教师模型先尝试编辑,确定性检查器检查格式等约束,视觉评判器检查请求是否实现;失败候选可以根据反馈重做。早期 Llama 3.3 70B 版本用了超过25万条样本。团队随后换用更强底座,并引入强化学习,希望改善单纯模仿训练的泛化与样本效率。

评估也被拆成几件事:对齐、对比度、指令完成度,以及是否用了正确组件。设计专家参与校准视觉评判器。原图显示,在445个编辑案例上,尚未发布、基于 Qwen 3.8 27B 后训练的版本获77.8%,GPT 6.1 Sol 获76.9%;这是内部自动评测,不能把很小的分差当成普遍优势。

正式产品结合自研编辑模型和第三方模型,分别处理精确修改与图像、矢量等任务。Figma 报告从测试版到正式版典型任务约快20%、用户撤销减少60%。原文明确这些变化来自模型、工具和运行框架共同改进,并不是专用模型的单独因果效果。

可信度 65 · 重要性 90 · 新颖度 86

技术与主题

评测与基准 · 多模态 · 训练与对齐 · Design Editing · Synthetic Data · LLM-as-a-Judge

编辑评读

最有用的思路是先确定用户想保留什么。设计修改的难处常在“只动这里”:按钮换了样式,层级、布局和其他组件仍要正常。原生表示把这些对象变成可操作内容,结构检查与视觉判断各自承担不同问题。它让专门训练有了明确目标,也减少了用长提示反复解释文件语法的需求。

这并不要求先找到一个覆盖所有审美的总分。可以先区分可机械核对的关系、能由专家解释的偏好,以及这次请求的特定目标,再看哪类失败值得进入训练。专家校准评判器的价值,是让反馈靠近真实编辑要求;仍需留出未用于调校的设计,检查模型是否只是学会取悦评分。

若迁移到文档、表格或代码编辑,可以保留“修改前、用户请求、修改后”的成组记录,并检查未要求变化的部分。比起照搬77.8%的分数,更值得比较的是反复编辑后的可用性、需要人修补的地方和等待时间。本文没有进行这样的比较;当前证据支持这条产品与训练路线,尚不足以量化每个组成部分的独立贡献。

核查依据

所属事件

收录记录