CARLA 模拟器的鸟瞰图
项目描述
CARLA的鸟瞰图
| 面向高速公路的形状 | 作弊式 | 中心线图层 |
|---|---|---|
 |
 |
 |
（上面的GIF是应用as_rgb()函数后的特征图）
动机
在我们的研究中，我们发现了一篇非常鼓舞人心的论文，名为“作弊学习”。Bird-eye 的视图专门用于更快地学习，这要归功于我们认为非常适合强化学习设置的更简单的 2D 世界表示（作弊预言）。
这个存储库是一个几乎完整的重新实现，它提供了更好的性能和与最新版本的 CARLA 的兼容性。您可以开箱即用地使用它作为模型的输入，并在必要时转换并可视化为 RGB。
特征
- one-hot 3D 特征图（8x2D 层，每个层代表其他实体，例如道路层、行人层） - 专门为您的 CNN 提供数据
- 特征图可以转换为 RGB图像
- 层可以很容易地去除
- 静态层的缓存机制，例如：道路和车道
- 使用OpenCV 渲染（高效、多线程友好）而不是缓慢的 Pygame 方法
- 由于渲染受限（仅代理周围环境，而非整个地图），FPS大幅提升
- 开箱即用支持所有 CARLA 地图，还支持使用 RoadRunner 制作的有效 OpenDrive 文件的自定义地图
- 当前的实现是专门针对高速公路场景（加长形状）进行调整的，但其他形状和作物很容易实现
安装
pip install carla-birdeye-view
如何运行
确保PYTHONPATHenv 变量包含 CARLA 分发 egg，以便carla可以导入包。
# Launch server instance
./CarlaUE4.sh
# (optional) For CARLA 0.9.8+ you may get additional performance improvement with this
python PythonAPI/util/config.py --no-rendering
# Preview while cruising on autopilot (birdview/__main__.py)
python -m carla_birdeye_view
基本代码使用
from carla_birdeye_view import BirdViewProducer, BirdViewCropType, PixelDimensions
birdview_producer = BirdViewProducer(
client, # carla.Client
target_size=PixelDimensions(width=150, height=336),
pixels_per_meter=4,
crop_type=BirdViewCropType.FRONT_AND_REAR_AREA
)
# Input for your model - call it every simulation step
# returned result is np.ndarray with ones and zeros of shape (8, height, width)
birdview = birdview_producer.produce(
agent_vehicle=agent # carla.Actor (spawned vehicle)
)
# Use only if you want to visualize
# produces np.ndarray of shape (height, width, 3)
rgb = BirdViewProducer.as_rgb(birdview)
贡献和反馈
我们会 :heart: 收集任何反馈、问题和拉取请求！
学分
诞生于deepsense.ai的项目，由：
