Skip to main content

使用 python sbatch 配置文件作为输入向 SLURM 提交作业的实用程序包。

项目描述

CP3SlurmUtils

编写 CP3SlurmUtils 的目的是成为 CP3 研究所的物理学家的实用工具,有助于将作业提交(和重新提交)到由Slurm管理的计算集群。CP3 的大多数使用该实用程序的物理学家都在与 CERN 的 CMS 实验合作。

在 CP3SlurmUtils 中,作业是通过用 Python 编写的提交配置文件定义的,类似于CRABClient中使用的提交配置文件类型,CMS 用户使用该工具将作业提交到全球 LHC 计算网格。然后,该实用程序创建要使用 Slurm sbatch命令提交的批处理脚本。提交可以由实用程序本身在旅途中完成,也可以稍后由用户完成。

CP3SlurmUtils 提供以下功能:

  • 作业标准输出/标准错误的处理
  • 临时目录的处理
  • 作业退出代码的处理
  • 处理作业输入和输出文件
  • CMS 环境的设置(可选)

对于向/从工作节点复制文件,使用cp命令,假设有一个与提交节点共享的文件系统。

安装

CP3SlurmUtils 可以通过Python Package Installer 安装,也可以简单地从 git 存储库下载: https ://gitlab.cern.ch/cp3-cms/CP3SlurmUtils 。

配置

包中包含一个名为defaults.cfg.example的 CP3SlurmUtils 示例配置文件 。在 git 存储库中,可以在 etc文件夹中找到它。在发行版中,可以在名为 etc/CP3SlurmUtils的子目录中找到它。

CP3SlurmUtils 将尝试从以下位置读取defaults.cfg配置文件,顺序如下:

  • /etc/CP3SlurmUtils/
  • $xdg_config_dir/CP3SlurmUtils/ 其中 $xdg_config_dir 是环境变量 $XDG_CONFIG_DIRS 定义的每个路径;如果未定义 $XDG_CONFIG_DIRS,则 $xdg_config_dir 默认为 /etc/xdg/
  • site.USER_BASE/etc/CP3SlurmUtils/ 其中 site.USER_BASE 是定义用户安装位置的 python 变量
  • $xdg_config_home/CP3SlurmUtils/ 其中 $xdg_config_home 是定义时的环境变量 $XDG_CONFIG_HOME 且不为空;否则默认为 $HOME/.config
  • $VIRTUAL_ENV/etc/CP3SlurmUtils/ 当 $VIRTUAL_ENV 已定义且不为空时

该实用程序没有提供安装或配置脚本;用户可以将defaults.cfg配置文件放在可见位置或适当地将环境变量 $XDG_CONFIG_DIRS 或 $XDG_CONFIG_HOME 指向它。

报告错误

要报告问题/错误或提供增强/改进建议,请在 git 存储库中打开一个问题:https ://gitlab.cern.ch/cp3-cms/CP3SlurmUtils 。也欢迎拉取请求。问题可以发送到cp3-support@uclouvain.be

合法的

CP3SlurmUtils 按“原样”提供,不提供任何担保。该软件是根据 GNU 通用公共许可证分发的;有关详细信息,请参阅文件 LICENSE。

下载文件

下载适用于您平台的文件。如果您不确定要选择哪个,请了解有关安装包的更多信息。

源分布

CP3SlurmUtils-0.2.0.tar.gz (48.3 kB 查看哈希

已上传 source

内置分布

CP3SlurmUtils-0.2.0-py3-none-any.whl (54.5 kB 查看哈希

已上传 py3