持续追踪

KillSwitch:故意为难模型的语言,究竟测到了什么

按时间保留当时的判断和后续核查;历史收录不代表刚刚重新验证。

2026-10-19 · 当时的记录

Dom Picheta 设计了一门对代码模型不友好的实验语言 KillSwitch:语法中混入看似指令的文字,数值和标识符需要计数,文本位置也参与含义,部分表达会触发安全限制。任务本身很简单,包括输出文本、比较两个数和温度换算;难处集中在准确理解、遵守和执行这套陌生规则。

作者报告最佳模型得分 66.8,并据此继续追问模型是否理解代码。但标题中的“LLM 不能用”比结果更绝对:模型已经部分成功,只是没有全对。HN 讨论把问题推进到了实验设计——有没有人类基线,是否允许构造解释器或转换器,以及失败究竟来自语义理解、计数、指令冲突,还是安全拒绝。

本次记录的观点:SuperV1234 · Dom Picheta / dom96 · marvinborner

回到当期正文 ↗

查看依据原文 · 原始依据 · 原始依据