nuScenes 开发套件

欢迎使用nuScenes和nuImages数据集的 devkit。

概述

• 变更日志
• 开发套件设置
• nuImages
  • nuImages 设置
  • nuImages 入门
• 新场景
  • nuScenes 设置
  • nuScenes-全景
  • nuScenes-lidarseg
  • 预测挑战
  • CAN总线扩展
  • 地图扩展
  • 地图版本
  • nuScenes 入门
• 已知的问题
• 引文

变更日志

• 2021 年 9 月 20 日：Devkit v1.1.9：重构具有不同类的自定义数据集的跟踪评估代码。
• 2021 年 9 月 17 日：Devkit v1.1.8：将 PAT 指标添加到 Panoptic nuScenes。
• 2021 年 8 月 23 日：Devkit v1.1.7：向 nuScenes-panoptic 代码添加更多全景跟踪指标。
• 2021 年 7 月 29 日：Devkit v1.1.6：nuScenes-panoptic v1.0 代码，NeurIPS 挑战公告。
• 2021 年 4 月 5 日：Devkit v1.1.3：错误修复和 pip 要求。
• 2020 年 11 月 23 日：Devkit v1.1.2：发布带有激光雷达底图的地图扩展 v1.3。
• 2020 年 11 月 9 日：Devkit v1.1.1：Lidarseg 评估代码，NeurIPS 挑战公告。
• 2020 年 8 月 31 日：Devkit v1.1.0：nuImages v1.0 和 nuScenes-lidarseg v1.0 代码发布。
• 2020 年 7 月 7 日：Devkit v1.0.9：地图和预测代码的其他更新。
• 2020 年 4 月 30 日：nuImages v0.1 代码发布。
• 2020 年 4 月 1 日：Devkit v1.0.8：放宽 pip 要求并重新组织预测代码。
• 2020 年 3 月 24 日：Devkit v1.0.7：nuScenes 预测挑战代码发布。
• 2020 年 2 月 12 日：Devkit v1.0.6：发布 CAN 总线扩展。
• 2019 年 12 月 11 日：Devkit v1.0.5：从 AMOTA 跟踪指标中删除权重因子。
• 2019 年 11 月 1 日：跟踪评估代码发布，检测评估代码重组。
• 2019 年 7 月 1 日：地图扩展发布。
• 2019 年 4 月 30 日：Devkit v1.0.1：放宽 PIP 要求，优化检测挑战，导出 2d 注释脚本。
• 2019 年 3 月 26 日：完整数据集、论文和 devkit v1.0.0 发布。取消对预告数据的支持。
• 2018 年 12 月 20 日：发布了初始评估代码。Devkit 文件夹重组，这打破了向后兼容性。
• 2018 年 11 月 21 日：雷达过滤和多扫描聚合。
• 2018 年 10 月 4 日：发布了解析雷达数据的代码。
• 2018 年 9 月 12 日：发布了预告数据集的 Devkit。

开发套件设置

我们为 nuScenes 和 nuImages 使用一个通用的 devkit。devkit 针对 Python 3.6 和 Python 3.7 进行了测试。要安装 Python，请在此处查看。

我们的 devkit 可用并且可以通过pip安装：

pip install nuscenes-devkit

对于高级安装，请参阅安装以获取详细说明。

nuImages

nuImages 是一个独立的大规模图像数据集。它使用与 3d nuScenes 数据集相同的传感器设置。结构类似于nuScenes，并且都使用相同的devkit，这使得安装过程变得简单。

nuImages 设置

要下载 nuImages，您需要进入下载页面，创建一个帐户并同意 nuScenes使用条款。要使 devkit 工作，您至少需要下载元数据和示例，扫描是可选的。请将档案解压到/data/sets/nuimages文件夹*而不*覆盖多个档案中出现的文件夹。最终，您应该具有以下文件夹结构：

/data/sets/nuimages
    samples	-	Sensor data for keyframes (annotated images).
    sweeps  -   Sensor data for intermediate frames (unannotated images).
    v1.0-*	-	JSON tables that include all the meta data and annotations. Each split (train, val, test, mini) is provided in a separate folder.

如果要使用另一个文件夹，请指定datarootNuImages 类的参数（参见教程）。

nuImages 入门

请按照以下步骤熟悉 nuImages 数据集：

• 获取nuscenes-devkit 代码。
• 使用以下命令运行教程：

jupyter notebook $HOME/nuscenes-devkit/python-sdk/tutorials/nuimages_tutorial.ipynb

• 请参阅数据库模式和注释器说明。

新场景

nuScenes 设置

要下载 nuScenes，您需要进入下载页面，创建一个帐户并同意 nuScenes使用条款。登录后，您将看到多个存档。要使 devkit 工作，您需要下载所有档案。请将档案解压到/data/sets/nuscenes文件夹*而不*覆盖多个档案中出现的文件夹。最终，您应该具有以下文件夹结构：

/data/sets/nuscenes
    samples	-	Sensor data for keyframes.
    sweeps	-	Sensor data for intermediate frames.
    maps	-	Folder for all map files: rasterized .png images and vectorized .json files.
    v1.0-*	-	JSON tables that include all the meta data and annotations. Each split (trainval, test, mini) is provided in a separate folder.

如果要使用另一个文件夹，请指定datarootNuScenes 类的参数（参见教程）。

nuScenes-全景

2021 年 8 月，我们发布了nuScenes-panoptic，其中包含 nuScenes 中大约 40,000 个关键帧的点云全景标签。要安装 nuScenes-panoptic，请按照以下步骤操作：

• 从下载页面下载数据集，
• panoptic将和文件夹解压v1.0-*到您的 nuScenes 根目录（例如/data/sets/nuscenes/panoptic, /data/sets/nuscenes/v1.0-*）。
• 获取最新版本的 nuscenes-devkit。
• 开始使用本教程。

nuScenes-lidarseg

2020 年 8 月，我们发布了nuScenes-lidarseg，其中包含 nuScenes 中大约 40,000 个关键帧的点云语义标签。要安装 nuScenes-lidarseg，请按照以下步骤操作：

• 从下载页面下载数据集，
• lidarseg将和文件夹解压v1.0-*到您的 nuScenes 根目录（例如/data/sets/nuscenes/lidarseg, /data/sets/nuscenes/v1.0-*）。
• 获取最新版本的 nuscenes-devkit。
• 如果您已经有以前版本的 devkit，请更新 pip 要求（请参阅详细信息）：pip install -r setup/requirements.txt
• 开始使用本教程。

预测挑战

2020 年 3 月，我们发布了 nuScenes 预测挑战的代码。开始：

• 下载地图扩展的 1.2 版本（见下文）。
• 从此处下载CoverNet的轨迹集。
• 浏览预测教程。
• 有关如何对提交进行评分的信息，请访问挑战网站。

CAN总线扩展

2020 年 2 月，我们发布了 CAN 总线扩展。它包含有关车辆路线、IMU、姿势、转向角反馈、电池、制动器、档位、信号、轮速、油门、扭矩、太阳能传感器、里程计等的低级车辆数据。要安装此扩展，请按照以下步骤操作：

• 从下载页面下载扩展，
• 将can_bus 文件夹解压缩到您的nuScenes 根目录（例如/data/sets/nuscenes/can_bus）。
• 获取最新版本的 nuscenes-devkit。
• 如果您已经有以前版本的 devkit，请更新 pip 要求（请参阅详细信息）：pip install -r setup/requirements.txt
• 开始阅读CAN 总线自述文件或教程。

地图扩展

2019 年 7 月，我们发布了包含 11 个语义层（人行横道、人行道、红绿灯、停车线、车道等）的地图扩展。要安装此扩展，请按照以下步骤操作：

• 从下载页面下载扩展，
• 将内容（文件夹 和 ）提取basemap到expansion您prediction的 nuScenesmaps文件夹。
• 获取最新版本的 nuscenes-devkit。
• 如果您已经有以前版本的 devkit，请更新 pip 要求（请参阅详细信息）：pip install -r setup/requirements.txt
• 开始使用地图扩展教程。有关详细信息，请参阅下面的地图版本。

地图版本

在这里，我们简要概述了不同的地图版本：

• v1.3：添加支持新激光雷达底图和旧语义先验地图的 BitMap 类。删除一条断线。
• v1.2：扩展 devkit 和地图以包括预测挑战的弧线路径和车道连接。
• v1.1：解决了自我姿势脱离可驾驶表面的问题。
• v1.0：2019 年 7 月的初始地图扩展版本。支持 11 个语义层。
• nuScenes v1.0：带有语义先验位图。所有代码都包含在 nuscenes.py 中。

nuScenes 入门

请按照以下步骤熟悉 nuScenes 数据集：

• 阅读数据集描述。
• 探索激光雷达查看器和视频。
• 下载数据集。
• 获取nuscenes-devkit 代码。
• 阅读在线教程或使用以下方法自行运行：

jupyter notebook $HOME/nuscenes-devkit/python-sdk/tutorials/nuscenes_tutorial.ipynb

• 阅读nuScenes 论文，了解数据集的详细分析。
• 运行地图扩展教程。
• 看看实验脚本。
• 有关对象检测任务（结果格式、类别和评估指标）的相关说明，请参阅此自述文件。
• 请参阅数据库模式和注释器说明。
• 请参阅常见问题解答。

已知的问题

nuScenes 数据集的整理非常谨慎，许多用户对数据和注释的质量表示赞赏。但是，仍然存在一些小问题：

地图：

• 对于singapore-hollandvillage和singapore -queenstown，红绿灯 3d 姿势均为 0（tz 除外）。
• 对于boston-seaport，3 个场景（499、515、517）的自我姿势略有不正确，2 个场景（501、502）在标注区域之外。
• 对于singapore-onenorth，大约 10 个场景的自我姿势脱离了可驾驶的表面。这已在地图 v1.1 中解决。
• 一些车道与其余车道断开连接。我们选择保留这些，因为它们仍然提供有价值的信息。

注释：

• 尽管对象被暂时遮挡，但仍有少量 3d 边界框被注释。出于这个原因，我们确保在 nuScenes 基准测试中过滤没有激光雷达或雷达点的对象。见问题 366。

引文

请在引用nuScenes 或 nuImages时使用以下引用：

@article{nuscenes2019,
  title={nuScenes: A multimodal dataset for autonomous driving},
  author={Holger Caesar and Varun Bankiti and Alex H. Lang and Sourabh Vora and 
          Venice Erin Liong and Qiang Xu and Anush Krishnan and Yu Pan and 
          Giancarlo Baldan and Oscar Beijbom},
  journal={arXiv preprint arXiv:1903.11027},
  year={2019}
}