为什么PixelDiT要抛弃VAE？像素空间扩散Transformer原理图解

【免费下载链接】PixelDiT[CVPR 2026 Best Paper Finalist NeurIPS 2026]项目地址https://gitcode.com/gh_mirrors/pi/PixelDiT点击查看免费下载PixelDiT是 NVIDIA 与罗切斯特大学联合推出的像素空间扩散 Transformer图像生成模型——它完全抛弃了 VAE直接在像素空间做扩散建模与生成并拿下了 CVPR 2026 Oral 与 Best Paper Finalist。本文带你从原理上拆解VAE 到底不完美在哪以及 PixelDiT 如何在不付出天量算力的前提下把像素空间生成做到顶级质量。传统VAE 扩散流水线到底哪里不完美如今主流的图像生成潜空间扩散基本都是三步走压缩用 VAE 自编码器把一张 256×256 的图像约 19.7 万个数字压成一个小得多的潜变量如 32×32×4生成扩散模型在压缩后的潜空间里做去噪还原再用 VAE 解码器把潜变量放大回图像。VAE 确实省了大量算力但代价是三个隐性成本问题说明 信息瓶颈下采样压缩会丢高频细节纹理、发丝、文字先被丢掉生成器只能靠猜补回来 质量天花板解码器就是质量的天花板——扩散模型再强输出也不可能超过 VAE 的重建上限⏱️ 额外开销多一组训练目标VAE 也要训、多一次推理解码解码瑕疵还会直接传导到生成结果于是问题自然浮现能不能直接在像素上做去噪PixelDiT 就是这个问题的答案。直接在像素空间生成难在哪听起来简单难点是指数级的token 数量爆炸若把每个像素当一个 token256×256 就是65,536 个 token注意力是 O(n²)注意力矩阵高达约 43 亿项根本跑不动算力放大相比潜空间像素空间的 token 数放大了 16 倍以上把潜扩散的架构照搬过来直接放大尺寸是不现实的。所以 PixelDiT 要回答的核心问题是如何兼顾全局一致性与逐像素细节同时把注意力开销压到可控。核心设计双层先粗后细TransformerPixelDiT 的答案是双层架构——两个分工不同的 Transformer先粗后细第一层patch 级 DiT把图像切成 16×16 的 patch由大 Transformer 负责全局结构、布局与语义第二层pixel 级 PiT小 Transformer 负责每个 patch 内部逐像素的细节精修条件来自第一层输出。前向流程简化如下加噪像素图 x_t │ unfold 成 16×16 的 patch ▼ 26 层 patch 级 DiT 块adaLN 注入 timestep 类别/文本条件 │ 输出条件向量 s_cond ▼ 像素级嵌入每个像素一个 16 维小向量 ▼ 4 层 pixel 级 PiT 块 —— 局部细节精修 │ ▼ fold 回 256×256输出流速度场 v两个关键的实现技巧像素注意力压缩PiT 块并不在 6.5 万像素上做全分辨率注意力而是先把 patch 内 256 个像素压缩成 1 个向量、在 patch 分辨率上做注意力再展开回来——像素级精修保留了注意力矩阵却缩小了 256 倍adaLN 条件注入时间步与类别/文本条件通过 Adaptive LayerNorm 调制进每一层这是扩散 TransformerDiT的标准条件化方式。双层结构的定义在 pixeldit_c2i.pyPixelTokenEmbedder像素嵌入、PiTBlock像素块、PixDiT.forward整体前向patch 尺寸 16、patch 深度 26、pixel 深度 4 等超参数在 pix256_xl.yaml 中配置。训练配方Flow Matching REPA 双重加速PixelDiT 用flow matching整流流作为训练目标采样时间 t构造混合样本x_t α(t)·x σ(t)·ε与速度目标v_t网络直接回归v_tMSE 损失推理时从纯噪声沿近似直线路径一步步走向图像采样器为FlowDPMSolver100 步。在此之上还叠了一个REPA 损失把 patch 块第 8 层的特征与冻结的DINOv2编码器特征做余弦相似度对齐权重 0.5。思想是让表示学习的老师告诉学生什么结构才算好——在监督信号本就稀疏的像素空间里这一招显著加快收敛。对应实现在 diffusion.pyfm_loss是 flow matching 损失cos_loss是 REPA 对齐损失采样器FlowDPMSolverSampler也在同文件。从分类生成到文生图两个变体PixelDiT-T2I是文生图版1.3B 参数用Gemma-2做文本编码器通过MM-DiT块做图文联合注意力可直接生成1024×1024图像。模型定义在 pixeldit_t2i.py推理入口为 inference.pyPixelDiT2更进一步提出表示接地representation grounding单条 patch 级 Transformer把冻结DINOv3编码器对目标图像提取的表示特征作为接地条件注入去噪过程收敛显著更快ImageNet 256×256 FID 达到1.46。代码见 pixeldit2_c2i.py 与 grounding.py。效果与上手指南核心成绩一览模型任务指标PixelDiT-XLImageNet 256×256 分类生成FID1.61PixelDiT-XLImageNet 512×512 分类生成FID1.81PixelDiT2-H/16ImageNet 256×256 分类生成FID1.46仅 50 步PixelDiT-T2I1024×1024 文生图GenEval0.78在完全不使用 VAE 的前提下这些数字已经处于潜空间顶级模型的梯队是像素空间生成可行最直接的证据。三步上手# 1. 克隆仓库 git clone https://gitcode.com/gh_mirrors/pi/PixelDiT cd PixelDiT # 2. 安装依赖 python -m pip install -r requirements-pixeldit1.txt # 3. 文生图推理权重自动下载 cd t2i python inference.py \ --config configs/PixelDiT_1024px_pixel_diffusion_stage3.yaml \ --model_path pixeldit_t2i_v1.pth \ --custom_height 1024 --custom_width 1024 \ --cfg_scale 2.75 --seed 2025分类生成的推理/评测命令见 c2i/README.md文生图三阶段训练流程见 t2i/README.md。小结PixelDiT 证明了什么VAE 不是必经之路像素空间扩散只要有对的架构就能做到顶级质量分层建模是关键patch 级管全局、pixel 级管细节再把像素注意力压缩 256 倍算力才变得可行表示学习是强助攻REPA 与 DINOv3 grounding 都说明借表示之力是像素模型快速收敛的最快路径对可控编辑、无损生成管线、单一骨干多任务统一来说像素空间比潜空间是更干净的底座。核心模型全部集中在pixdit_core/目录共享注意力与位置编码见 modules.py代码结构清晰非常适合想从第一性原理理解扩散 Transformer 的同学精读。赞分享【免费下载链接】PixelDiT[CVPR 2026 Best Paper Finalist NeurIPS 2026]项目地址https://gitcode.com/gh_mirrors/pi/PixelDiT点击查看免费下载相关推荐SenseNova-U1.5-8B-MoT-8bit架构揭秘Mixture-of-Transformers与像素空间rectified flow为什么抛弃VAESenseNova U1.5 8B MoT 8bit架构揭秘Mixture of Transformers与像素空间rectified flow为什么抛弃V深入SenseNova-U1.5-8B-MoT-bf16架构原理MoT混合Transformer像素空间流生成如何抛弃VAE深入SenseNova U1.5 8B MoT bf16架构原理MoT混合Transformer像素空间流生成如何抛弃VAE SenseNova U1.5Easy-Vibe 图像生成原理全解从像素空间到潜空间的 VAE、扩散模型与 Flow MatchingEasy Vibe 图像生成原理全解从像素空间到潜空间的 VAE、扩散模型与 Flow Matching 本文基于 easy vibe 附录知识库中的《图像生教程Vibe CodingAI 应用上一篇Mouse Follower API 完全参考手册所有方法和事件详解下一篇什么是MCP服务器laravel/mcp让Laravel应用被Claude和AI智能体秒级接入的终极指南创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考