Bench2Drive：闭环端到端自动驾驶基准完整指南

Bench2Drive闭环端到端自动驾驶基准完整指南【免费下载链接】Bench2Drive[NeurIPS 2024 Datasets and Benchmarks Track] Closed-Loop E2E-AD Benchmark Enhanced by World Model RL Expert项目地址: https://gitcode.com/gh_mirrors/ben/Bench2DriveBench2Drive 是 NeurIPS 2024 发布的闭环端到端自动驾驶基准13638 个专家数据片段、220 条闭环评测路线、12 项多能力指标。本文带你从下载数据到算出驾驶得分一次跑通。图 1Bench2Drive 三大支柱 —— 左侧是 RL 专家 Think2Drive 生成的大规模训练集中间是准真实场景闭环评测右侧是多维度能力评估报告 它解决了什么问题做端到端自动驾驶研究时你大概率撞过这三堵墙缺高质量训练数据模型想要会开车的专家轨迹但公开数据要么质量参差要么标注不全。Bench2Drive 由世界模型强化学习专家 Think2Drive 统一采集Full 集共 13638 个片段、约 4TB每个片段含 9 路相机、1 个激光雷达、5 个毫米波雷达外加深度/语义/实例分割掩码和逐帧标注。闭环评测难跑通在 CARLA 里真开车评测进程易崩、脚本各写各的、多卡不会切。Bench2Drive 把 CARLA 0.9.15 的 Leaderboard 整套封装好220 条路线覆盖 19 个城镇与多种天气配一键 debug 与多卡并行脚本。单一分数说不清好坏只看驾驶得分你不知道模型是合流弱还是急刹弱。Bench2Drive 额外输出 12 项细分能力成功率Merging、Overtaking、Emergency Brake、Give Way、Traffic Signs 等与驾驶效率、舒适度指标。图 2闭环评测的典型场景 —— 城市路口、多车排队、红绿灯与交通流同时生效这正是开环指标测不到的部分⚙️ 核心机制一次讲透闭环评测输入 → 处理 → 输出一次评测的完整流程可以拆成三步输入你的 agent 只被允许使用合法传感器9 路相机、1 个激光雷达、5 个雷达、canbus 自车状态加导航指令输出 2Hz 的油门、转向、刹车三控制量。处理leaderboard_evaluator自动拉起 CARLA 0.9.15读取路线 XML城镇、天气、起终点、途经点由 scenario_runner/ 调度背景车流与红绿灯逻辑然后你的 agent 在仿真里真刀真枪地开完整个路线。输出每条路线产出一个 json驾驶得分、违规计数、最终状态220 条汇总后得到总分与多能力成绩。数据从哪来Think2Drive 专家训练集不是人工采集的。Think2Drive 在潜在世界模型里用强化学习学会开车再回到 CARLA 中执行策略采集代码 tools/data_collect.py 直接对接 CARLA API逐帧落盘为图像、点云、雷达与标注最大限度减少信息损失。你可以先下载 10 个片段的 Mini 集看结构再决定是否拉 400GB 的 Base 集。图 3评测时仿真器内的视角 —— 左侧面板显示速度、油门/转向/刹车、车辆与交通流数量与 agent 拿到的输入同源 数据与文件布局仓库顶层结构Bench2Drive/ ├── assets/ # 论文示意图与演示视频 ├── docs/ # 标注说明 anno.md、三个子集的文件清单 ├── leaderboard/ # 评测框架CARLA 自动拉起、agent 挂载、结果落盘 │ ├── data/ # 220 条路线 XML含 Dev10 快速验证集 │ └── scripts/ # debug / 多卡并行评测一键脚本 ├── scenario_runner/ # 场景执行引擎交通流管理、判据与指标记录 └── tools/ # 数据可视化、视频生成、指标统计脚本数据集里每个片段clip按场景名/Town_天气_路线/组织anno/00000.json.gz自车位姿速度、三控制量、所有交通参与者 3D 边界框、各传感器内外参世界→相机、相机→自车矩阵齐全camera/9 个视角的 RGBJPG质量 20 深度/语义/实例分割图lidar/00000.laz点云laszip 压缩radar/00000.h5HDF5expert_assessment/00000.npz专家策略评估信息 最短上手路径环境要求Ubuntu Python 3.7 或 3.8CARLA 0.9.15 的 wheel 只支持这两个版本Python 3.9 会报错NVIDIA GPU注意 CARLA 渲染由命令行-graphicsadapter指定与CUDA_VISIBLE_DEVICES无关可用 Vulkanlavapipe 软渲染也能跑但更慢克隆代码git clone https://gitcode.com/gh_mirrors/ben/Bench2Drive装 CARLA 0.9.15评测框架绑死这个版本wget https://carla-releases.s3.us-east-005.backblazeb2.com/Linux/CARLA_0.9.15.tar.gz tar -xvf CARLA_0.9.15.tar.gz cd CARLA_0.9.15/Import wget https://carla-releases.s3.us-east-005.backblazeb2.com/Linux/AdditionalMaps_0.9.15.tar.gz cd .. bash ImportAssets.sh # 把 carla egg 指进你的 python3.7/3.8 环境设好 CARLA_ROOT echo $CARLA_ROOT/PythonAPI/carla/dist/carla-0.9.15-py3.7-linux-x86_64.egg $CONDA_PREFIX/lib/python3.7/site-packages/carla.pth下载 Mini 集验证bash tools/download_mini.sh10 个片段约 4GBBase 集约 400GB、Full 集约 4TB文件清单见 docs/接入并 debug 你的 agent把 agent 放进leaderboard/team_code/、模型目录软链到仓库根目录然后bash leaderboard/scripts/run_evaluation_debug.sh需先设置GPU_RANK、TEAM_AGENT、TEAM_CONFIG。这一步的作用是确认你的模型在真实闭环里能输出合法控制比直接跑全量省几十小时。统计指标一条流水走完python tools/merge_route_json.py -f your_json_folder/ # 合并 220 条 → 驾驶得分/成功率 python tools/ability_benchmark.py -r merge.json # 12 项多能力成功率 python tools/efficiency_smoothness_benchmark.py -f merge.json -m your_metric_folder/ 深度使用Dev10 快速验证集10 个片段跑消融是什么从 220 条官方路线中人工挑出的 10 个片段既难又有代表性、方差低路线文件为 leaderboard/data/drivetransformer_bench2drive_dev10.xml。怎么用评测时把路由列表换成它单次评测时间缩短到原来的约 1/20适合参数调优与消融实验。注意什么只在 Dev10 上调参最终对比必须回 220 全量跑一遍否则容易过拟合这 10 条路线。多能力指标把能不能开拆成 12 个问题是什么按场景名把 220 条路线归入 Merging、Overtaking、Emergency Brake、Give Way、Traffic Signs 等能力组统计各组成功率。怎么用上一步的tools/ability_benchmark.py直接输出雷达图式分组成绩。注意什么官方当前使用的结果版本是 V0.0.3修复了能力统计笔误对比不同论文时先核对版本旧版 V0.0.1/0.0.2 已弃用。图 4V0.0.3 官方基准表 —— 上半部分是各方法闭环驾驶得分与成功率下半部分是五类能力成功率DriveAdapter 以 42.08 的能力均值领先可视化与视频排查问题的放大镜是什么tools/visualize.py可把自车轨迹、HD-Map车道中心线、拓扑、触发体积*.npz格式与标注叠加展示tools/generate_video.py把逐帧 RGB 合成带 canbus 信息的调试视频。怎么用python tools/visualize.py -f 片段路径 -m maps/Town13_lanemarkings.npz再python tools/generate_video.py -f your_rgb_folder/。注意什么数据涉及 World、Ego、LiDAR、Compass 四种坐标系可视化前先分清标注字段属于哪个系RGB 存的是 JPG 质量 20 的有损压缩推理时对传感器图像做同样压缩可避免训练-推理分布差。图 5指标分析示例 —— 自车与对向车辆距离随帧号变化这类曲线用于复盘急刹、让行类场景的决策时机⚠️ 踩坑与 FAQ现象合并后驾驶得分为 0或指标脚本报错。原因merge_route_json.py默认结果里必须恰好有 220 条路线缺的路线按 0 分计日志缺失如 CARLA 崩掉没落盘会让结果不全。 解法评测前先检查 json 数量Failed/Crashed 状态的路线可以保留按失败计但要补齐文件再合并多卡评测脚本建议加自动重启循环CARLA 崩溃属常见现象。现象CARLA 启动秒退或评测中途挂死、端口冲突。原因多为 Vulkan 环境问题或上一轮残留的僵尸进程另外 CARLA 不受CUDA_VISIBLE_DEVICES控制-graphicsadapter编号在某些机器上不连续4 卡可能对应 0/2/3/4。 解法多次执行bash tools/clean_carla.sh清进程用vulkaninfo | head -n 5检查 Vulkan必要时sudo apt install vulkan-tools vulkan-utils重装端口用lsof -i:你的端口排查避免使用 10000 以下端口慢机器记得把脚本里的 sleep 时间调长。现象训练数据里行人速度全是 0、静态车位置漂移。原因这些是 CARLA API 的已知 bug不是你的采集代码错了。 解法行人速度需自行用相邻帧位置差分静态车statestatic只信center与extent注意 extent 是长宽高的一半世界系框用world2vehicle的逆矩阵变换触发体积的旋转是相对父物体的要加上父物体旋转才是全局值。完整清单见 docs/anno.md。Bench2Drive 大规模专家训练数据 标准化闭环评测 12 项多能力指标一个仓库闭环覆盖。 建议路径Dev10 调参 → Mini 集验证 → Base/Full 全量对比。 核心资料docs/anno.md标注与坐标系、leaderboard/scripts/评测脚本、tools/指标与可视化工具。【免费下载链接】Bench2Drive[NeurIPS 2024 Datasets and Benchmarks Track] Closed-Loop E2E-AD Benchmark Enhanced by World Model RL Expert项目地址: https://gitcode.com/gh_mirrors/ben/Bench2Drive创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考