将 kedro 管道转换为 argo 管道。
项目描述
将 kedro 管道转换为 argo 管道。
免费软件：BSD 3-Clause License
安装
pip install kedro-argo
您还可以使用以下方法安装开发中版本：
pip install https://github.com/nraw/kedro-argo/archive/master.zip
要求
要与 Kedro 一起使用，因此假定此包与 Kedro 项目一起使用。
部署步骤需要 Argo CLI。还假设 Argo 已经安装在您的 kuberentes 实例上。
您必须指定图像名称作为参数。您可以使用 Kedro-docker 生成图像。
由于工作流将在 Argo 中，这意味着每个步骤都将在其自己的容器中运行。因此，所有数据集都应该以某种方式在容器之间传递，否则管道将失败。这意味着所有数据集都应保存在外部（S3、Azure 等）或您的部署可以访问的共享文件夹中。
用法
安装后，如果您在 kedro 项目中，argo 应该在您的 kedro 命令下可见
kedro
那么你有两种方式来获取 yaml 文件，即通过 Helm 或通过 ytt。
舵
kedro argo IMAGE_NAME
将此存储库添加到您的 helm 图表：
helm repo add kedro-argo https://nraw.github.io/kedro-argo-helm/
然后通过传递 kedro.yaml 作为输入值直接安装它
helm install -f templates/kedro.yaml kedro-argo kedro-argo/kedro-argo
或者将其克隆到您的存储库并更改您仍然需要的任何内容：
helm pull kedro-argo/kedro-argo --untar
ytt
通过运行获取 kedro.yaml 文件
kedro argo --ytt IMAGE_NAME
您现在可以运行：
ytt -f templates > argo.yaml
或者如果你更喜欢 Docker：
docker run --rm -it --name ytt -v $(pwd)/templates:/templates gerritk/ytt:latest -f /templates > argo.yaml
最后
argo submit --watch argo.yaml
文档
发展
要运行所有测试运行：
tox
请注意，要组合来自所有tox环境的覆盖率数据，请运行：
视窗 |
设置 PYTEST_ADDOPTS=--cov-append tox |
|---|---|
其他 |
PYTEST_ADDOPTS=--cov-append tox |
变更日志
0.0.8 (2020-04-27)
将 ytt 选项更改为标志
0.0.7 (2020-03-27)
将默认模板选项更改为 Helm 而不是 ytt
0.0.5 (2020-03-08)
肮脏的名称现在被转换以降低符号破坏 Argo 的可能性
0.0.4 (2020-03-07)
重构和初步适应
包含测试
0.0.0 (2020-03-07)
PyPI 上的第一个版本。
关
kedro_argo -0.0.9-py2.py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 41620624021d654f7d6206411c1663ad737dd68fde601690a5ffd660fc09201a |
|
| MD5 | ba17ba1e180284d3577d0347978d712f |
|
| 布莱克2-256 | e31c7619c845fddf9ac1fc1290731ec71fd587ee681b5b199ceeef5cd961854e |