datavorous · Demoscener · 阅读原文
发现渠道：Hacker News
Dwitter 是用极短 JavaScript 制作动画的社区。普通代码模型未必熟悉这种为了省字符而写的表达式，更不知道作者觉得什么画面有意思。datavorous 想做一个能续写这些小动画的工具，于是以 Qwen2.5-Coder-7B Base 为底座，分开处理“像这种代码”和“符合自己的偏好”两个问题。
第一步是持续预训练，让模型继续预测约 2.5 万条 Dweet 的代码。在三十条留出样本上，作者报告困惑度由 28.63 降到 8.57；困惑度反映模型预测文本的把握程度，数值降低并不直接表示动画更漂亮。随后，他按社区评价组织训练材料，再做人工偏好训练：每组看八个渲染后的续写，选喜欢的一个，或者整组跳过。约九至十轮、每轮五百组，意味着作者实际承担了大量观看和选择工作。
成品界面允许先写一段代码，再比较和分叉生成结果。模型卡发布持续预训练、课程训练和偏好训练三个 LoRA 适配器，便于分别加载；适配器是在底座上附加的小规模参数。作者还请朋友盲选不同检查点的输出，但这种有限评选不能代表整个社区的审美。文中有些概率比较使用共享的 BF16 底座，而后续阶段训练用过量化底座，跨阶段数字也须核对条件。
讨论并不只关乎生成质量。一些爱好者喜欢演示艺术，是因为人在严苛限制下亲自解决难题；另一些人则把接纳新技术看作表达的一部分。即使生成器更好用，这个价值分歧也不会被一项偏好分数消除。
可信度 65 · 重要性 72 · 新颖度 65
技术与主题
AI 编程 · 多模态 · 训练与对齐 · LoRA · 持续预训练 · 人类偏好
emptybits
参与 Demoscener 的 HN 讨论，描述自己观看演示作品的体验。
忠实转述（非原句）：他承认，AI 若在严格限制下找到人未曾想到的效果，会很有思想上的趣味。但他参加聚会时，人们惊叹的还包括“这是一个人想出来的”；因此，即使画面好看，生成过程也可能让他失去原来的感受。
vapel
同一讨论中的不同价值取向。
忠实转述（非原句）：对他而言，演示艺术也包含拥抱新技术并用它表达自己，因此他愿意向前看。这是他自己的理解，不能代表社区已经接受 AI 生成。
编辑评读
这项实践把专门化训练的几个目标分开了：先改善稀有语法的可预测性，再缩小候选分布，最后用人的选择引导结果。它提醒我们，通用模型不合用时，可以先检查失败在哪一层。若只是压缩代码的分布陌生，继续训练有明确对象；若问题在创作方向，单纯降低文本损失未必有效。代码能运行又是另一道检查；先筛掉不能执行的候选，才可能避免把人的审美判断耗在语法错误上。
代价也发生了转移。作者少写了一些候选，却要反复观看大量动画、判断差异；不能只把最终界面里的几次点击当作全部投入。更值得保留的交互是分叉与修改前缀：人仍可决定接下来探索哪条路径，而不是只能接受成品。对设计或编程工具，这提供了“生成候选、保留选择权”的思路；对重视手工解题的社区，工具是否有价值仍取决于参与者追求的活动本身。