TensorFlow Extended (TFX) 是 README.ml-pipelines-sdk.md 在 Google 实施的基于 TensorFlow 的通用机器学习平台。
项目描述
TFX
TensorFlow Extended (TFX)是一个基于 TensorFlow 的 Google 生产规模机器学习平台。它提供了一个配置框架来表达由 TFX 组件组成的 ML 管道。可以使用 Apache Airflow和 Kubeflow Pipelines编排 TFX 管道。组件本身以及与编排系统的集成都可以扩展。
TFX 组件与 ML 元数据后端交互，该后端记录组件运行、输入和输出工件以及运行时配置。此元数据后端支持高级功能，例如实验跟踪或热启动/恢复以前运行的 ML 模型。
文档
用户文档
请参阅 TFX 用户指南。
开发参考
路线图
TFX路线图，每季度更新一次。
发布详情
有关先前和即将发生的更改的详细信息，请 在此处查看
征求意见
TFX 是一个开源项目，我们强烈鼓励 ML 社区积极参与帮助塑造 TFX 以满足或超越他们的需求。这项工作的一个重要组成部分是 RFC 流程。请查看当前和过去的 TFX RFC列表。 有关社区成员如何贡献的信息，请参阅 TensorFlow 征求意见 (TF-RFC)流程页面。
兼容版本
下表描述了tfx包版本如何与其主要依赖 PyPI 包兼容。这是由我们的测试框架决定的，但其他未经测试的组合也可能有效。
| tfx | 阿帕奇光束[gcp] | 机器学习元数据 | 皮箭 | 张量流 | 张量流数据验证 | 张量流元数据 | 张量流模型分析 | 张量流服务API | 张量流变换 | tfx-bsl |
|---|---|---|---|---|---|---|---|---|---|---|
| GitHub 大师 | 2.28.0 | 0.28.0 | 2.0.0 | 2.4.0 | 0.28.0 | 0.28.0 | 0.28.0 | 2.4.0 | 0.28.0 | 0.28.1 |
构建 Rflow-tfx 映像
为库构建 wheel 文件
brew install bazel
package_build/initialize.sh
python package_build/ml-pipelines-sdk/setup.py bdist_wheel # Generate ml-pipelines-sdk.whl under dist
python package_build/tfx/setup.py bdist_wheel # Generate rflow_tfx.whl under dist
将库的 wheel 文件上传到 pip repo
pip install twine
twine upload dist/* # upload .whl to pip repo.
构建 rflow-tfx 映像
更改 tfx > tools > docker > build_docker_image.sh 中标签的值
DOCKER_IMAGE_TAG=${DOCKER_IMAGE_TAG:-"1.5.8"}
构建 rflow-tfx 映像
./tfx/tools/docker/build_docker_image.sh
