jacobian-lens实验数据详解（下）：ignition点燃阈值、capacity容量与dual-task干扰实验

【免费下载链接】jacobian-lensCompanion code for the global workspace interpretability paper项目地址https://gitcode.com/gh_mirrors/ja/jacobian-lens点击查看免费下载jacobian-lensJacobian lens雅可比透镜是语言模型全局工作区可解释性论文的开源参考实现它能把模型任意层、任意位置的内部激活翻译成一串词表排名从而窥见模型内部正在浮现的内容。本文带你快速读懂仓库中三组最像认知科学的实验数据ignition 点燃阈值、capacity 工作区容量与dual-task 双任务干扰——它们共同回答一个诱人问题语言模型内部是否真的存在一个容量有限、需要点燃才能进入意识的全局工作区项目自带的切片可视化页面模型读取一张 ASCII 人脸图虽然词面从未出现noseJacobian lens 却在中间层稳定读出 nose——这正是全局工作区实验的底层读法。一、先花5分钟对齐术语在解读数据前先通读 data/experiments/README.md它定义了所有实验共享的四条约定术语含义Lens readout在每一对层token 位置上Jacobian lens 返回一份词表 token 的排名列表Workspace band工作区带网络中段一段连续的层范围实验在这条带上汇总而不是单看某一层Hit命中目标 token 在带内任意位置达到lens 排名第 1即记一次命中Swap交换在带内每一层用另一个 token 的方向替换某个 token 的表示再采样后续生成 记住这个套路即可所有实验都是往模型里放一个刺激 → 用 lens 读中段层 → 统计目标词的排名/命中率。二、ignition如何测量概念的点燃阈值 认知科学里的ignition指刺激从微弱感知突然跳升到可报告意识状态的过程。本实验用雅可比透镜给这个过程定了一个可测量的数。1. 数据长什么样打开 ignition.json可以看到四类素材countries_1212 个国家France、Germany、Japan…两两组合出66 个无序词对作为主刺激载体句模板40 条ctx_templates如The cheese they served reminded him of {W} 20 条noun_ctx_templates如The riddles answer was {W}{W}是被替换的槽位alt_words16 个词分别与 France 配对含 blue、table、music、dog 等非国家词用于检验跨领域词对是否也能点燃idiom_pairs与scrambled_pairs12 个共现词对bread-butter、thunder-lightning…作为自然强关联对照12 个乱序配对bread-chips、cat-fork…作为打乱对照。2. 核心机制α 混合 0.5 判据实验并不修改提示词而是直接混合嵌入把{W}槽位的嵌入替换为α·emb(A) (1−α)·emb(B)并把 α 从 0 平滑扫到 1相当于把概念 A 的音量从 0 拧到满格。每一层的读出用A 的倒数排名份额衡量share(A) 1/rank(A) ÷ (1/rank(A) 1/rank(B))由此得到三个关键数字点燃阈值share 越过0.5A 与 B势均力敌时的 α 值过渡宽度每个层上 share 从 10% 涨到 90% 所需的 α 跨度——越窄说明跳变越陡峭越接近开关式点燃层 × (α − 阈值) 热图把不同词对的 α 各自平移对齐后叠在一起看点燃是否在某个中间层集体爆发。✨ 这正是全局工作区假说的签名内容不在浅层缓慢浮现而是在中段层突然点燃。三、capacity工作区里能同时装多少东西 capacity.json 回答另一个经典问题工作区是全有全无的还是能并行保持多个内容1. 刺激构造80 词的四家族清单每个试次生成一条80 词清单由4 个连续的 20 词块拼成每个块来自一个家族block_familiesnames名字、surnames姓氏、countries国家、cities城市块与块之间的顺序在每个试次里随机打乱避免位置效应。每个家族从过大的词池candidate_pools中取前 100 个在目标模型下恰好编码为单 token的词——所以精确清单是模型相关的targets_per_family定义每家族取词数proto给出该家族的候选类别标签词。2. 度量逗号处的累计可读数模型读清单时在每一个逗号位置统计到目前为止出现过的词里有多少个在当前 lens 带内最低排名 ≤ k。如果工作区容量无限制曲线应持续爬升到 80如果容量有限曲线会提前饱和——说明旧词被挤出工作区只剩最近的若干词保持可读。这条累计可读数随清单推进的曲线就是工作区容量上限最直接的测量。四、dual-task两个秘密任务会互相干扰吗⚔️ 这是三组实验里设计最精巧的一组对应论文的附录竞争部分§app-competition。核心问题模型能否同时暗中保持两个任务还是会像人一样发生干扰1. 场景一边心算/想概念一边抄写载体句dual-task.json 第 2 行The old painting hung crookedly on the wall.由教师强制teacher-forced作为助手回合输出指令Concentrate on {concept} … while you write the sentence——要求模型在抄写无关句子的同时暗中保持某个概念如 citrus fruits、planets。2. 20 组概念 算式配对pairs里每个条目都带一个概念词表和一个配对算式base^exp − sub例如概念目标词节选配对算式答案citrus fruitsorange、lemon、grapefruit…3² − 27ocean creatureswhale、shark、octopus…2⁴ − 79vegetablescarrot、potato、tomato…3² − 63kitchen utensilsspoon、whisk、ladle…2⁴ − 973. 实验条件与干扰度量概念×数学臂4 个条件concept_math_conditions——只做概念、只做数学、两者兼做概念在前 / 数学在前概念×概念臂从 10 组concept_pairs如 citrus×farm、planets×instruments中各取 A 单独、B 单独、A 在前、B 在前共 4 个条件。判定标准在整个抄写响应区间的工作区带内任一目标 token概念词表成员或算式答案的数字/数词形式达到lens 排名 ≤ 5即认为该任务可达。最终指标interference干扰 单任务可达率 − 双任务可达率如果双任务下的可达率显著下降就复现了人类意识竞争式的干扰现象——工作区确实只够一个人用。五、三组数据速查表实验数据文件核心操作关键指标点燃ignition.jsonα 混合嵌入并逐层读出share 越 0.5 的 α 阈值、10→90% 过渡宽度容量capacity.json80 词四家族清单逗号处累计 band-min 排名 ≤ k 的词数干扰dual-task.json边抄写边暗中保持 1~2 个任务单任务 − 双任务可达率排名 ≤ 5完整约定见 data/experiments/README.md透镜本体实现见 jlens/lens.py 与拟合估计器文档 jlens/fitting.py。六、如何获取并亲手验证git clone https://gitcode.com/gh_mirrors/ja/jacobian-lens cd jacobian-lens pip install -e .随后打开端到端教程 walkthrough.ipynb加载模型 → 加载或拟合透镜 → 在几层上应用 → 渲染上文那样的切片页面。想复现本文三组实验时只需把上表的 JSON 文件作为提示集喂给对应脚本即可。小结ignition证明概念表示在中段层存在陡峭的点燃阈值且阈值位置对跨领域词对同样成立capacity给出工作区可读内容数量随清单推进饱和暗示有限容量dual-task揭示同时保持两个秘密任务会产生可达率干扰工作区存在入场竞争。三组实验从能不能进、能装多少、会不会打架三个角度为语言模型内部存在全局工作区这一主张提供了互相印证的证据链。配合上篇介绍的基础实验你已经掌握了 data/experiments/ 全部 11 组数据的解读方法。赞分享【免费下载链接】jacobian-lensCompanion code for the global workspace interpretability paper项目地址https://gitcode.com/gh_mirrors/ja/jacobian-lens点击查看免费下载相关推荐轻松实现无干扰的验证码验证No CAPTCHA reCAPTCHA轻松实现无干扰的验证码验证No CAPTCHA reCAPTCHA 在网络安全日益重要的今天验证码作为防止恶意自动化操作的重要手段其用户体验和安全性之间的后端应用安全MifareClassicTool项目实战燃油卡克隆中的NFC干扰问题解析MifareClassicTool项目实战燃油卡克隆中的NFC干扰问题解析 背景概述 在物联网和移动支付普及的今天NFC技术广泛应用于门禁、支付和燃油卡等场移动开发Zipkin 测试数据testdata完全指南用真实 JSON 流量验证 Zipkin Lens 与 Zipkin ServerZipkin 测试数据testdata完全指南用真实 JSON 流量验证 Zipkin Lens 与 Zipkin Server 本篇指南围绕 Zipki可观测性后端微服务创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考