SAPIEN：基于模拟部件的交互式环境

SAPIEN 是一个逼真且物理丰富的模拟环境，它承载了一个用于铰接对象的大规模集合。它支持各种需要详细零件级理解的机器人视觉和交互任务。SAPIEN 是加州大学圣地亚哥分校、斯坦福大学和 SFU 研究人员之间的合作成果。该数据集是 ShapeNet 和 PartNet 的延续。

更改日志

1 到 2 迁移指南

• 替换scene.renderer_scene.add_xxx_light为scene.add_xxx_light
• 替换scene.remove_mounted_camera为scene.remove_camera
• 可选地，fovx从scene.add_mounted_camera.

2.0

• 重构灯光系统
  • 移除 scene.renderer_scene 上的光照函数
• 重构摄像头系统
  • 相机不再需要支架
  • camera.set_parent相机可以通过和 更改其安装和安装姿势camera.set_local_pose。
  • 未挂载相机时，设置局部位姿就是设置其全局位姿。
  • 添加功能scene.add_camera和scene.remove_camera
  • add_mounted_camera可以用add_camera和 camera.set_parent替换camera.set_local_pose。add_mounted_camera仍然提供，但不应再提供 fovx。
  • 删除与 mount 相关的函数，包括find_camera_by_mount.
  • 相机现在通过camera.near、 camera.far、camera.set_fovx、camera.set_fovy、 camera.set_focal_lengths、camera.set_principal_point、camera.skew和多合一方法支持完整的相机参数camera.set_perspective_parameters。
• 重构渲染形状系统
  • 最初，在actor.get_visual_bodies()and 之后visual_body.get_render_shapes()，用户通常会做shape.scaleand shape.pose。这些不再有效。需要检查 visual_body.type。什么时候,替换为 type,替换为 . 进行这些更改是为了 在构建 actor 时匹配功能。meshshape.scalevisual_body.scaleshape.posevisual_body.local_poseadd_visual_shape

pre2.0

• 着色器更改：默认相机着色器中的第 4 个组件现在提供 0-1 深度值。
• 添加“关键”和“关闭”日志级别。
• 添加对点云和线渲染的支持（用于可视化相机和点云）
• 性能：同一个着色器每个进程只编译一次
• 错误修复
  • 关节 setDriveTarget 现在正确反转棱柱关节（关节 setDriveTarget 不受影响）
  • 修复运动关节装载机

1.1

• 支持非凸静态/运动碰撞形状
• 添加小质量/惯性警告
• 引入Entity作为Actor的基类
• 添加从实体继承的 Light 类，允许在 sapien 场景中操作灯光对象
• 查看器的更新
  • 适当时将actor重命名为实体
• 部分支持 URDF loader 中的材质标签（原始形状，单色）
• 渲染器的错误修复
• 支持聚光灯的内外FOV

1.0

• 完全替换旧的基于 Vulkan 的渲染器
  • 详情见sapien.core.renderer_
• 向 Python 公开 GUI 功能
• 在 Python 中重新实现 Vulkan 查看器
• 将 PhysX 形状包装器暴露给 Python。例如，
  • 碰撞形状可以通过actor.get_collision_shapes
  • 形状上的碰撞组可以通过CollisionShape.set_collision_groups
  • 形状现在也可用于Contact.
• API 更改
  • 渲染材质创建现在renderer.create_material()
  • 在 actor builder:add_xxx_shape中替换为add_xxx_collision.
  • 将灯光功能从场景移动到scene.renderer_scene
• 添加离心力和科里奥利力。
• 更改默认物理参数以获得更好的稳定性。

SAPIEN 引擎

SAPIEN Engine 为铰接对象提供物理模拟。它通过纯 Python 接口为强化学习和机器人技术提供动力。

SAPIEN 渲染器

SAPIEN 使用 Vulkan 提供光栅化和光线追踪渲染。

PartNet-移动性

SAPIEN 发布 PartNet-Mobility 数据集，该数据集是 2K 铰接对象的集合，具有运动注释和渲染材料。该数据集为通用计算机视觉和操作的研究提供动力。

网站和文档

SAPIEN 网站：https ://sapien.ucsd.edu/ 。SAPIEN 文档： https ://sapien.ucsd.edu/docs/latest/index.html 。

从源代码构建

构建之前

确保所有子模块都已初始化git submodule update --init --recursive。

使用 Docker 构建

要构建 SAPIEN，只需运行./docker_build_wheels.sh. 不建议在我们提供的 docker 之外构建。

作为参考，此处提供了 Dockerfile 。请注意，在构建 Docker 映像之前，需要使用 clang-9 将 PhysX 编译为静态库。

不使用 Docker 构建

在 Docker 环境之外设置所有依赖项可能很棘手。您需要根据Docker 环境安装所有依赖项。如果所有依赖项设置正确，请运行 python setup.py bdist_wheel以构建轮子。

引用 SAPIEN

如果您使用 SAPIEN 及其资产，请引用以下作品。

@InProceedings{Xiang_2020_SAPIEN,
author = {Xiang, Fanbo and Qin, Yuzhe and Mo, Kaichun and Xia, Yikuan and Zhu, Hao and Liu, Fangchen and Liu, Minghua and Jiang, Hanxiao and Yuan, Yifu and Wang, He and Yi, Li and Chang, Angel X. and Guibas, Leonidas J. and Su, Hao},
title = {{SAPIEN}: A SimulAted Part-based Interactive ENvironment},
booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2020}}

@InProceedings{Mo_2019_CVPR,
author = {Mo, Kaichun and Zhu, Shilin and Chang, Angel X. and Yi, Li and Tripathi, Subarna and Guibas, Leonidas J. and Su, Hao},
title = {{PartNet}: A Large-Scale Benchmark for Fine-Grained and Hierarchical Part-Level {3D} Object Understanding},
booktitle = {The IEEE Conference on Computer Vision and Pattern Recognition (CVPR)},
month = {June},
year = {2019}
}

@article{chang2015shapenet,
title={Shapenet: An information-rich 3d model repository},
author={Chang, Angel X and Funkhouser, Thomas and Guibas, Leonidas and Hanrahan, Pat and Huang, Qixing and Li, Zimo and Savarese, Silvio and Savva, Manolis and Song, Shuran and Su, Hao and others},
journal={arXiv preprint arXiv:1512.03012},
year={2015}
}