彻底拆解内部结构：embeddinggemma-2-bf16的1376个张量与三塔架构全解

【免费下载链接】embeddinggemma-2-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/embeddinggemma-2-bf16点击查看免费下载embeddinggemma-2-bf16 是 Google EmbeddingGemma 2 多模态嵌入模型Embedding Model的 MLX 转换版全部权重以 BF16 精度存储可将文本、图片、音频、视频统一编码为 768 维归一化向量。本指南带你从张量清单出发彻底读懂它的三塔架构、768 维向量流水线与转换精度验证。这个嵌入模型到底能做什么一句话把任何内容变成一个 768 维的数字向量内容越相似向量越接近默认用余弦相似度度量。它的核心能力包括文本嵌入多语言查询、文档编码支持 Matryoshka 截断可只用 128/256/512/768 维️图片、 音频、 视频嵌入三塔编码器全部保留⚡MLX 原生格式在 Apple Silicon 上高效运行BF16 精度权重仅约1.489 GB模型架构声明为EmbeddingGemma2Model详见 config.json。仓库文件速览一个权重文件装下全部 1376 个张量文件作用model.safetensors唯一权重文件包含全部 1376 个张量model.safetensors.index.json张量清单与归属索引元数据显示总大小 1,488,743,984 字节config.json三塔结构超参数层数、注意力模式等modules.json定义 3 步编码流水线1_Pooling/config.json平均池化配置输出 768 维2_Normalize/config.json向量归一化配置config_sentence_transformers.json各任务的 query / document 前缀模板validation.json转换校验记录1376 张量、BF16、M3 Ultra 实测README.md官方使用说明与精度对照表如果想在本地复现可拉取源码git clone https://gitcode.com/hf_mirrors/mlx-community/embeddinggemma-2-bf16三塔架构全解1376 个张量分别住在哪里打开 model.safetensors.index.json按张量前缀分组后得到一张清晰的人口分布表模块张量数职责audio_tower音频塔75112 层把 128 维 Mel 频谱编码为语义特征language_model文本塔41324 层负责最终语义融合与向量生成vision_tower视觉塔21016 层把 16×16 图像 patch 编码为 280 个软 tokenembed_audio/embed_vision1 1两把桥把音/画特征投影进文本空间合计1376与 validation.json 记录的tensor_count完全一致文本塔最省心的 24 层骨干language_model是真正说话的部分隐层 512、词表 262,144、上下文长度可达 262,144。它在 config.json 中采用滑动窗口sliding window 512为主、全注意力为辅的混合设计20 层使用局部滑动注意力rope_theta10,000便宜且省显存第 5 / 11 / 17 / 23 层升级为full_attention且单独放宽head_dim至 512、KV 头压缩到 1 个见 config.json 的per_layer_config每层恰好 17 个张量注意力 6 MLP 3 PLE 桥接块 3 归一化等 524 层共 408 个加上词表、投影和顶层规范层正好 413 个。音频塔751 个张量里藏着剪枝痕迹audio_tower张量最多751 个但它只有 12 层1024 隐层为什么比文本塔还胖因为它的每个前馈层都带一组input_min / input_max / output_min / output_max缩放张量use_clipped_linears用于激活值裁剪——一个 12 层的音频编码器由此膨胀到 744 个层内张量外加 5 个下采样卷积与 2 个输出投影。视觉塔把一张图压成 280 个 tokenvision_tower210 张量使用 patch 16、隐层 768 的 16 层编码器配 3×3 池化核processor_config.json 规定每张图最多产出280 个软 token与音频的 280 个 token/秒窗口对齐——这是三塔能对齐到同一语义空间的关键约定。两座桥embed_audio 与 embed_vision清单里最小的两名成员——embed_audio.embedding_projection.weight和embed_vision.embedding_projection.weight——是跨模态的翻译官各自一个投影矩阵把音频/视觉特征线性映射进文本塔的 512 维空间。没有它们三塔就只是三座孤岛。从原始输入到 768 维向量三步流水线真正的编码流程由 modules.json 定义共三步Transformer 前向idx 0对应 sentence_bert_config.json 中 text/image/audio/video 五种模态统一取last_hidden_state平均池化idx 11_Poolingpooling_mode: mean且include_prompt: true——任务前缀如task: search result | query:定义于 config_sentence_transformers.json也参与池化归一化idx 22_Normalize输出单位球面向量直接支持余弦相似度 点积 查询和文档要使用不同前缀task: search result | query:vstitle: none | text:这是检索效果的关键细节。精度如何BF16 转换的验证数据validation.json 记录了在 Apple M3 Ultra、MLX 0.32.3 上的转换校验1376 个张量全部为 BF16与 PyTorch FP32 原模型对比各模态余弦相似度最低值均在 0.9999 以上输入最低余弦相似度vs FP32最大绝对误差audio0.9999470.001258image0.9999540.001135text0.9999370.001468text_image0.9999050.001864video0.9999000.001688结论BF16 精度对嵌入结果的影响可忽略。注意一个硬性要求——切勿把该模型转成 float16README.md 明确警告保持 BF16 即可。快速上手与要点清单文本嵌入最小路径安装 MLX-VLM 与mlx0.32.3、transformers5.18.0用AutoTokenizerload_embedding_model加载查询加task:前缀、文档加title: none | text:前缀得到 768 维向量后直接做点积排序需要更省空间时可截断到 256 维并重新归一化Matryoshka。完整示例见 README.md。核心要点回顾 1376 个 BF16 张量 ≈ 1.489 GB单文件 model.safetensors 即全部权重️ 三塔结构音频塔751 张量 文本塔413 视觉塔210 2 个投影桥 输出 768 维归一化向量支持 128/256/512/768 Matryoshka 截断✅ 转换与 FP32 原版余弦相似度 ≥ 0.9999可放心用于检索、聚类等特征提取任务赞分享【免费下载链接】embeddinggemma-2-bf16项目地址https://ai.gitcode.com/hf_mirrors/mlx-community/embeddinggemma-2-bf16点击查看免费下载相关推荐解剖embeddinggemma-2-mxfp4内部架构文本视觉音频三塔如何融合成单一嵌入解剖embeddinggemma 2 mxfp4内部架构文本视觉音频三塔如何融合成单一嵌入 embeddinggemma 2 mxfp4 是 GoogleMuse-Glimmer-30B-bf16文件结构深度解析275个safetensors分片与bf16精度全拆解Muse Glimmer 30B bf16文件结构深度解析275个safetensors分片与bf16精度全拆解 Muse Glimmer 30B bf16一个向量空间装下五种模态EmbeddingGemma 2 的统一嵌入架构深度拆解一个向量空间装下五种模态EmbeddingGemma 2 的统一嵌入架构深度拆解 2026 年 10 月 6 日Google DeepMind 正式开源 E上一篇月底对账对到眼瞎用 Frappe Books 让记账自动跑起来下一篇Anthropic-Cybersecurity-Skills 全范围红队演练 API 参考attackcti 技术枚举、PTES 阶段编排与 C2 框架选型实战创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考