AI安全没有真裁判

我的仓库里躺着342个自动化测试。我对测试没什么概念，这些测试是AI写的。仓库里还有一些我后来才注意到的安全设计——哪几列数据绝不能出现在公网表单里，远程控制的指令只按白名单解析、绝不直接执行。这些也不是我设计的。有一次被问到“这套信任边界是谁想的”，我的回答只有两个字母：AI。

写卷的是它，判卷的也是它。我当时没觉得这有什么问题，直到最近看了一期播客，发现整个行业泡在同一个结构里。

那期播客的嘉宾是Gray Swan的两位创始人。这家公司给几乎所有头部实验室做发布前的攻击测试，Claude Mythos上线前的抗注入测试就是他们做的，上个月刚融了4000万美元。联合创始人Zico Kolter的另一个身份更有意思：OpenAI董事会成员，兼安全委员会主席——理论上，他有权叫停OpenAI的模型发布。

也就是说，同一个人，一边当着行业里最重要的安全裁判，一边开着一家模型越不安全、生意就越好的公司。这不是阴谋论，是写在维基百科上的公开事实。他们自己在节目里也不讳言商业模式的本质：客户往往是出了事才找上门。连公司名字都起得很诚实——黑天鹅没人能预见，灰天鹅是你眼睁睁看着它飞过来的意外。他们在等第一只灰天鹅落地。

该不该避嫌？我认为该。避得了吗？避不了，而且早期和后期都避不了。早期的原因简单：真懂攻击的就那么几个人。Zico和搭档Matt Fredrikson在CMU做了十几年对抗攻击研究，2023年那篇让ChatGPT、Claude、Bard集体破防的通用越狱论文，就是他们带着学生写的。你要找裁判，绕不开这几个人；绕开了，裁判就不懂球。

后期呢？后期利益冲突也不会消失，只会藏起来。行业成熟之后，影响力不再需要挂职，会变成顾问席、基金LP、旋转门，查都查不到。密码学行业演过这个剧本：NSA当年深度介入美国官方密码标准的制定，在其中一份随机数标准里做到了“唯一编辑”，后来斯诺登的泄密文件基本坐实了那份标准留有后门；连RSA这样的老牌安全公司，都被曝收了NSA一千万美元，把带后门的算法设成自家产品的默认选项。从这个角度看，现在反而是最诚实的阶段——利益冲突至少摆在台面上。

那靠制度呢？播客里正好把两个候选制度都过了一遍。

第一个是合规认证。Matt自己把SOC 2损了一顿，说那是“会计师做出来的东西，不是安全专家做出来的”——在行业里，SOC 2早就不是安全水平的证明，是采购流程的通行证，一门盖章生意。AI安全的合规框架大概率重走这条路。

第二个是保险。两位创始人对AI保险寄予厚望：保险公司出了事要真赔钱，利益方向和厂商相反，所以有动力把风险评估做实，而不是做成走过场。这个逻辑听起来很硬，但2008年有个一模一样的逻辑死在沙滩上：评级机构理论上也靠公信力吃饭，结果拿着被评级方的钱，给次贷债券盖了一路AAA。利益对冲挡不住收编，只是让收编多绕一道弯。我的判断是，AI保险最后也会走到那一步。

所以结论是悲观的：AI安全没有真裁判。现在没有，以后也不会有。

但这个结论有个出口，就藏在播客的一个技术细节里。他们说，前沿大模型干不了红队的活——模型自己的安全训练会让它拒绝攻击别的模型，所以攻击模型必须专门训练，和防守是两套系统。我在自己的项目里撞到过同构的事：有次数据出了问题，让AI写了三四个排查工具都查不到根因，最后换了个AI，很快解决。不是新AI更聪明，是它不背前面那套错误假设的沉没成本。

模型当不了自己的红队，AI查不动自己挖的坑，人验收不了自己点不到的盲区。谁都当不了自己的裁判——这件事在个体、系统、行业三层都成立。

既然真裁判不存在，能做的就不是继续找中立者——中立者要么不懂，要么很快不再中立。能做的是让屁股错开：写卷的和判卷的别是同一个；攻击和防守分开训练；做评估的人最好出了事真的要赔钱。哪怕每一方都有私心，只要私心方向相反，系统就还能立着。

这个标准放回我自己的仓库一样适用。我的流水线里，AI读外部内容、能访问全部数据、还能直接发布上线——播客里引了Simon Willison的说法，这三样凑齐，注入攻击的条件就全了。而我的出题、答题、判卷还是同一个系统。我能做的不是给它找一个“可信的守卫”，而是把其中一环拆给另一套没有共同利益的系统。这不解决问题，只是把出事的时间往后推。

灰天鹅飞过来之前，能做的大概也就这些。