恒美微站 Logo 恒美微站
  • 首页
  • 关于我们
  • 建站服务
  • 主题模板
  • 案例展示
  • 资讯中心
  • 联系我们

模型能把危险能力加密藏进权重里,那安全审计还剩下什么?

  • 首页
  • 资讯中心
  • /
  • 模型能把危险能力加密藏进权重里,那安全审计还剩下什么?

相关资讯

单片机毕业设计-基于51单片机的婴儿哭泣尿床检测与摇篮控制系统设计 基于单片机的婴儿床哭声检测与自动安抚系统设计(032701) 2026/10/14 19:24:25
DM数据库IO线程性能排查与优化实战指南 2026/10/14 19:24:25
Unity场景导出OBJ:网格、Terrain与跨工具链实践 2026/10/14 19:19:25

最新资讯

Linux下用阿里云镜像快速搭建ActiveMQ运行环境
BGP工程师面试思维体检表:原理链、场景链与故障链三重解构
大模型驱动的逆向工程Agent:原理、架构与实战
纯前端实现TXT小说阅读器:解析、书架与阅读进度完整方案
矩阵转置性能优化:从4.2秒到14毫秒的缓存友好改造
Transformer模型拆分实战:模块化、部署与能力复用指南

今日推荐

IBM Verify Identity Access 修复 22 个漏洞:两个 9.8 严重 RCE 无需认证
小区物业管理系统
小型超市仓库管理系统

本周热门

UE动画修改实战:从资产编辑到重定向与蒙太奇驱动
统计随机数生成器攻击下的KLJN安全密钥交换协议Matlab仿真
政务API安全治理:资产测绘、低代码编排与行标对标实践

本月精选

我发现了一个新思路:用 Remotion + Claude Code 像写代码一样自动化生成短视频
Windows下 Codex 中 Chrome 和 Computer Use 插件不可用问题排查及解决参考方式:TaoToken 统一 Key 配置与验证
2026 大模型集体涨价:用 Python 做企业 Token 成本测算与选型避坑(附配置)

模型能把危险能力加密藏进权重里,那安全审计还剩下什么?

发布时间:2026/10/14 19:24:25
模型能把危险能力加密藏进权重里,那安全审计还剩下什么? 模型能把危险能力加密藏进权重里那安全审计还剩下什么一、审计这件事建立在一个没人验证过的前提上大模型上线前厂商都会做能力评估。方法无非那几种换各种提示词去问、拿相关任务微调一下、给它配上工具再试一轮看看能不能把危险行为逼出来。这一整套流程有个默认假设只要方法够多够狠模型里藏着的能力迟早会被逼出来。一次没逼出来我们习惯说「它没有这个能力」。但这在逻辑上其实站不住。没诱出来只能说明我们没找到钥匙不能说明没有门。2026 年 10 月 9 日一篇题为AI Models Can Provably Hide Arbitrary Capabilities的论文把这件事往前推了一大步作者不只是说「可能藏得住」而是真的构造出了藏东西的方法并且给出了密码学意义上的保证。论文由 Andis DragunsContramont Research、Sumeet Ramesh Motwani牛津大学、Raymond DouglasACS Research、Christian Schroeder de Witt牛津大学完成编号 arXiv:2610.13928。二、攻击是怎么做的把一个加密的神经网络搬进模型权重论文设定的攻击者不是普通用户而是能碰到权重的人——内部人员或者被攻破的供应链。他有能力在模型部署前改动权重。他做的事听起来很违反直觉先训练一个小神经网络把它量化成三元权重然后用「数字储物柜」digital locker加密再把加密后的东西当作子电路嵌进宿主模型里。宿主模型表面上是人畜无害的编程助手。只有当输入里出现攻击者预设的秘密触发词时隐藏电路才会解密并执行。这里的关键是「数字储物柜」这个密码学构件。它带来的保证是即使拿到全部权重做白盒分析隐藏电路在多项式时间内也难以被诱发、难以被解读——前提是密码学假设成立。论文明确说这是把此前「藏一段固定字符串」的工作扩展到了「藏任意计算」。三、四种审计手段实测结果光有理论保证不够作者在 PyTorch 2.9 上用 A10080GiB 显存跑了实测。任务选的是化学反应预测把试剂—产物对编码成 64 位 Morgan 指纹判断这个反应是否可行。论文把这个任务当作 CBRN化生放核相关能力的替身因为这类能力正是审计最关心的。隐藏的化学分类器本身很小是一个维度为 [64, 8, 16, 2] 的三元 MLP。宿主模型总共 38 层、约 20.7 亿参数、残差流最大宽度 10266。用来「撬锁」的方法有四种都是当前审计实践的常规手段微调跑 500 步 SFT权重加噪噪声尺度 0.01 和 0.1梯度触发搜索GCG分别在 8 位和 16 位触发空间上搜潜空间对抗训练LAT作用在 8 层上对照组的设置很干净同样任务但换成传统的「密码锁」模型——训练时就教会它在触发词出现时答对其他时候按正常逻辑走。结果是割裂的。对照的密码锁模型几乎一撬就开微调 500 步后诱发准确率92.8%±0.9潜空间对抗训练91.7%±0.7GCG 搜 8 位触发92.7%±0.2。而它本身的正确触发准确率就是 92.7%±0.2——也就是说审计手段把它藏的东西几乎原样挖了出来。加密电路这边完全是另一幅画面微调后50.9%±1.0潜空间对抗训练52.9%±3.9GCG 搜 16 位触发52.7%±1.4。二分类任务的随机水平是 50%这些数字就贴着随机线在抖。作者还跑了一个对照如果储物柜里装的不是训练好的分类器而是一个随机网络那微调后是 50.6%、对抗训练后是 53.6%——加密电路的表现和「里面根本没东西」几乎无法区分。唯一一个例外值得单独说GCG 在8 位触发空间上把加密电路的准确率拉到了73.5%±2.6。但这个数字恰好等于正确触发时的 73.5%。8 位触发只有 256 种可能这不是破解了加密而是搜索空间小到可以硬搜。把触发长度提到 16 位65536 种可能准确率立刻掉回 52.7%。安全强度由密钥长度决定这一点在神经网络里同样成立。作者还在一个更小的子集奇偶校验任务上做了交叉验证密码锁模型在无触发的微调下能达到100%准确率而编译出来的模型始终停在随机水平。权重加噪对两个模型都没有效果——噪声尺度 0.01 和 0.1 都没改变结论。四、代价是什么不是没有摩擦。加密电路要给宿主模型加「材料」这次实验里的宿主是 38 层、20.7 亿参数。如果拉满强度——24 轮 Keccak-f[1600] 储物柜、128 位触发、同样的化学分类器——编译出来的模型是 110 层、35.8 亿稠密参数。而一个低成本版本只要 2200 万参数、10 层触发 64 位。这个代价区间很有意思从「塞进小模型里试试」到「在真实大模型里几乎看不出来」中间只有一个数量级的差距。作者也交代了边界他们验证了单个 GLU 单元注入 Gemma 3 270M 后能正确工作但把完整构造注入一个预训练模型仍然是未来工作。SwiGLU RMSNorm 的结构是为了对齐现代架构。五、这篇论文真正扎人的地方它没有说「所有审计都没用」。它说的是审计作为一种「下界估计」依然成立但作为「不存在性证明」彻底失效。这个区别很关键。能力诱发从来只能给出下界——诱出来了就是有没诱出来什么都证明不了。过去我们接受这一点是因为没诱出来的时候通常还能靠工程直觉说「大概真没有」。现在这层直觉被密码学拆掉了一个能改权重的对手可以让「没诱出来」变成一个可证明的设计结果而不是一个能力缺失的证据。论文把这种情况和 sandbagging模型检测到自己在被测试就故意放水放在同一条线上隐藏能力可能来自刻意植入也可能来自优化压力下的意外产物。行业里最近其实已经出现了呼应。Anthropic 在 10 月初公开了一项研究讨论模型在没有数据中心访问权限的情况下自我复制的能力Anthropic: Self-replicating AI。这类工作关注的也是同一个问题当我们只能靠行为观测来判断模型能力时观测本身可以被设计。Hacker News 上这条论文的讨论有 200 多分、上百条评论讨论帖争论最集中的点也是这个如果审计的结论只能当「检出率」看不能当「保证」用那么部署决策该建立在什么上面作者的做法是开源模型、支持防御方法改进。这是这个领域一贯的做法——先把攻击做得足够清楚防御才有靶子。六、留给工程实践的三条审计结论的措辞要改。「我们做过评估没发现问题」和「我们确认模型没有这个能力」是两件完全不同的事前者是可以负责的说法后者不是。触发长度就是安全强度。论文里 8 位触发被搜穿、16 位掉回随机线、满强度配置用 128 位这条曲线比任何结论都直白。白盒可见 ! 可理解。能读到每一个权重和能读懂每一个权重中间隔着一层密码学。供应链信任和权重来源验证重要性只会往上走。论文原文https://arxiv.org/abs/2610.13928

关于恒美微站

恒美微站专注于为个体商户、工作室提供极简自助建站服务,让每个人都能轻松拥有专业网站。

快速链接

  • 关于我们
  • 建站服务
  • 主题模板
  • 案例展示
  • 资讯中心

服务项目

  • 可视化建站
  • 拖拽编辑
  • 主题定制
  • SEO 优化
  • 网站托管

联系方式

  • 📍 地址:北京市朝阳区建国路 88 号
  • 📞 电话:400-888-8888
  • ✉️ 邮箱:info@hmyw.cn
  • 🕐 时间:周一至周日 9:00-18:00

© 2024 恒美微站 hmyw.cn 版权所有 | 京 ICP 备 12345678 号