使用 python sbatch 配置文件作为输入向 SLURM 提交作业的实用程序包。
项目描述
CP3SlurmUtils
编写 CP3SlurmUtils 的目的是成为 CP3 研究所的物理学家的实用工具,有助于将作业提交(和重新提交)到由Slurm管理的计算集群。CP3 的大多数使用该实用程序的物理学家都在与 CERN 的 CMS 实验合作。
在 CP3SlurmUtils 中,作业是通过用 Python 编写的提交配置文件定义的,类似于CRABClient中使用的提交配置文件类型,CMS 用户使用该工具将作业提交到全球 LHC 计算网格。然后,该实用程序创建要使用 Slurm sbatch命令提交的批处理脚本。提交可以由实用程序本身在旅途中完成,也可以稍后由用户完成。
CP3SlurmUtils 提供以下功能:
- 作业标准输出/标准错误的处理
- 临时目录的处理
- 作业退出代码的处理
- 处理作业输入和输出文件
- CMS 环境的设置(可选)
对于向/从工作节点复制文件,使用cp命令,假设有一个与提交节点共享的文件系统。
安装
CP3SlurmUtils 可以通过Python Package Installer 安装,也可以简单地从 git 存储库下载: https ://gitlab.cern.ch/cp3-cms/CP3SlurmUtils 。
配置
包中包含一个名为defaults.cfg.example的 CP3SlurmUtils 示例配置文件 。在 git 存储库中,可以在 etc文件夹中找到它。在发行版中,可以在名为 etc/CP3SlurmUtils的子目录中找到它。
CP3SlurmUtils 将尝试从以下位置读取defaults.cfg配置文件,顺序如下:
- /etc/CP3SlurmUtils/
- $xdg_config_dir/CP3SlurmUtils/ 其中 $xdg_config_dir 是环境变量 $XDG_CONFIG_DIRS 定义的每个路径;如果未定义 $XDG_CONFIG_DIRS,则 $xdg_config_dir 默认为 /etc/xdg/
- site.USER_BASE/etc/CP3SlurmUtils/ 其中 site.USER_BASE 是定义用户安装位置的 python 变量
- $xdg_config_home/CP3SlurmUtils/ 其中 $xdg_config_home 是定义时的环境变量 $XDG_CONFIG_HOME 且不为空;否则默认为 $HOME/.config
- $VIRTUAL_ENV/etc/CP3SlurmUtils/ 当 $VIRTUAL_ENV 已定义且不为空时
该实用程序没有提供安装或配置脚本;用户可以将defaults.cfg配置文件放在可见位置或适当地将环境变量 $XDG_CONFIG_DIRS 或 $XDG_CONFIG_HOME 指向它。
报告错误
要报告问题/错误或提供增强/改进建议,请在 git 存储库中打开一个问题:https ://gitlab.cern.ch/cp3-cms/CP3SlurmUtils 。也欢迎拉取请求。问题可以发送到cp3-support@uclouvain.be。
合法的
CP3SlurmUtils 按“原样”提供,不提供任何担保。该软件是根据 GNU 通用公共许可证分发的;有关详细信息,请参阅文件 LICENSE。
项目详情
下载文件
下载适用于您平台的文件。如果您不确定要选择哪个,请了解有关安装包的更多信息。
源分布
内置分布
CP3SlurmUtils -0.2.0.tar.gz 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | fcda3266d25902164dc080bc8b8d5949d17698ae08ea32b0c82acf96afd72c6e |
|
| MD5 | a4076a1b9d9e6daa617be3425369ec48 |
|
| 布莱克2-256 | 07bf4807d86821eff0d5e58a6c7c64cc16fb6f1f37f63ee93a892f80ee0a5627 |
CP3SlurmUtils -0.2.0-py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | cd649afcdafac7e04643ebfc232d250103b0e18fc6d494e5278b7b70407944be |
|
| MD5 | 54a1abb119d1fd481d1db5b4db443222 |
|
| 布莱克2-256 | 11b31cd9f98d2ce1491552ee985c0238d4d2e732feda079810109015843fe75b |