PandioML - Pandio.com 机器学习

该存储库包含 PandioML Python 库，用于为流数据开发和部署机器学习。

在高层次上，PandioML 提供了三件事：

1. 管道

   基于管道的传统scikit-learn管道。

2. 数据集

   将任何数据源连接并流式传输到管道中。

3. 管道和数据集的自动化

   用于pandiocli本地自动化或在由Apache Pulsar和Presto/ Trino 支持的 Pandio.com 平台上实现自动化。

快速链接

Pandio.com/PandioML - Pandio.com -入门-快速入门- PyPi PandioML - PyPi PandioCLI

关于 PandioML

增量学习

随着数据的流入，流式学习模型会逐渐创建并不断更新。它们在实时环境中非常强大，但也可以替代传统机器学习。

自适应学习

由于增量学习的自适应性，数据分布变化对流学习模型的概念漂移影响要小得多。

资源高效

由于增量学习，训练模型所需的处理时间和内存要少得多。

便于使用

PandioML 基于 scikit-learn，易于上手。

开源

基于强大的开源技术本身，PandioML 在SSPL License下发布。

人工智能编排

PandioCLI 不仅仅是一个 Python 库，它还可以轻松地将 PandioML 管道和模型打包和部署到 Pandio 平台。

用例

监督学习

处理标记数据时。根据目标类型可以是分类（离散值）或回归（连续值）

单输出和多输出

单输出方法预测用于分类的单个目标标签（二元或多类）或用于回归的单个目标值。多输出方法在给定输入的情况下同时预测多个变量。

概念漂移检测

数据分布的变化会损害学习。漂移检测方法旨在在存在漂移时发出警报，并与学习方法一起使用，以提高它们在不断变化的数据流中对这种现象的鲁棒性。

无监督学习

处理未标记数据时。例如，异常检测的目标是识别与大多数数据显着不同的罕见事件或样本。

建筑管道

类固醇上的 Scikit-learn 管道！熟悉的语法和更多的辅助方法，使构建和调试管道更容易。

部署模型

编写（或重用）您的管道和模型后，使用单个命令部署到 Pandio 的 AI 编排平台。您的模型现在可用于任何规模的生产用途！

我们的理念

PandioML 的存在是为了提供从访问数据、开发管道和尽快部署到生产的全功能体验。

我们的重点是易于使用、快速迭代和将单命令部署到生产环境。该库旨在自动化除实际数据科学之外的所有内容，以优化管道开发。对于实际的数据科学，重点是可访问性。40 多种算法、数十种指标和统计数据以及强大的管道框架可以节省大量时间。

PandioML 的最后一个核心思想是将其保持在尽可能低的水平。图书馆经常试图将事物抽象化以使事情变得简单，但根据我们的经验，它只会使事情复杂化。它可能会使一些事情变得更容易，或者不需要编写更多代码，但是当需要调试或审计时，深入了解正在发生的事情变得非常痛苦。

这个图书馆是为所有人准备的，从零经验到该领域的专家。

关于 Pandio.com

Pandio 是一个 AI 编排平台，可帮助公司加速其 AI 计划。以无与伦比的速度和规模连接数据、构建管道、训练模型和部署模型。

要求

蟒蛇 3.5 - 3.8

画中画 > 20.0.0

Docker（或 Docker 桌面）

这个怎么运作

PandioML 建立在 Pandio.com AI 编排平台之上。对于 PandioML 而言，这意味着有两件事支持 PandioML 项目的部署。

1. 分布式消息

   这是提供输入主题和输出主题的流、队列或发布订阅的概念。PandioML 项目位于输入主题和输出主题之间。

   这意味着要接收预测，必须在输入主题上放置一条消息。然后将结果放在项目config.py文件中定义的输出主题上。

2. 无服务器函数

   这是一个在 Kubernetes 环境中运行 PandioML 项目的计算框架。

当您使用 PandioML 构建机器学习时，您会在每次部署项目时自动获得一个完全可扩展的生产环境。

当您在本地工作时，会模拟这些组件以允许在使用单个命令将项目部署到生产之前进行快速迭代。

这是 PandioML 最强大的功能之一。您在培训、迭代、评估等方面的本地开发与您将作为微服务部署到 Pandio.com 的管道相同。您不必担心将其打包为微服务，使用 PandioML 和 PandioCLI 工具可以为您完成所有这些工作。

指南

1. 入门
2. 快速开始
3. 管道
4. 数据集
5. 指标
6. 统计数据
7. 模式和模式注册表
8. 完整形式的欺诈示例
9. 完整电影分级示例
10. 完整的信用卡欺诈管道示例
11. 完整的信用卡欺诈数据集示例
12. 如何加载模型
13. 超参数调优
14. 完整的潜在客户评分管道示例
15. 完整的潜在客户评分数据集示例

PandioML

安装

pip install pandioml

要在本地运行管道，需要 Docker。

Docker 无需在您的计算机上安装复杂的数据科学环境。

在这里免费获取：https ://www.docker.com/products/docker-desktop

文档

模型

该pandioml.model.*模块处理所有可用的算法和模型。

数据

该pandioml.data.*模型包含所有可用的数据集和生成器。

可以使用该pandiocli dataset generate工具创建其他自定义数据集以使用您自己的数据。

指标

pandioml.metrics.*包含用于计算与管道相关的指标的辅助方法。

统计数据

pandioml.stats.*包含用于计算与管道相关的指标的辅助方法。

创建您自己的数据集或生成器

使用pandioml.data.Stream类，继承它，定义所需的方法，并在 PandioML 中使用您自己的数据！

为了使它在 Pandio 的平台上可用，pandiocli upload它使用 PandioCLI，然后pandiocli deploy它。

构建流管道

它pandioml.core.pipelines包含一个用于构建传统机器学习管道的管道框架。

用于构建管道的 PandioML 框架与scikit-learn's 类似，但不同之处在于管道旨在处理单个记录，而不是一批记录。

单击此处阅读我们详细的管道指南。

神器

可重现的管道是数据科学中至关重要的一部分。

PandioML 提供了一种工具来存储与管道关联的任何工件。

自动为您存储 3 个工件：

1. 数据集

2. 管道

3. 模型

如果您想存储其他内容，例如指标、图表、超调参数或其他任何内容，可以通过导入 artifact 模块来完成，如下所示：

from pandioml.core.artifacts import artifact

然后，调用如下的add方法：artifact

dict = artifact.add('config_params', {'foo': 'bar'})

第一个参数是它的唯一名称，第二个参数是要存储的项目。如果可以腌制，可以作为神器保存。此外，有时最好推迟工件，因此可调用对象也可以作为要存储的项目。调用时，将传递一个参数，该参数storage_location包含工件的存储位置。这使得在存储工件时提供自定义逻辑变得容易。

奖励，该方法将返回工件，以便您可以轻松地添加项目并在一行中定义事物。

此外，save存在一种可以手动调用来存储工件的方法。用于存储这些工件的存储介质也可以扩展。目前，支持文件和 AWS S3 存储后端。默认存储后端是文件。

该方法在函数停止运行时自动调用。您可以自己调用它，但不要太频繁，因为它是一项昂贵的操作，具体取决于工件的大小。

ARTIFACT_STORAGEinsideconfig.py定义了工件的存储位置。这也可以通过调用来覆盖save。

模式注册表支持

类型安全对于任何数据科学计划都至关重要。如果您不能将浮动视为浮动，则可能会产生危险的后果。

PandioML 将类型安全视为一等公民。在将数据流式传输到您的管道之前，您可以要求它针对定义的架构进行验证。如果验证失败，您的管道将永远看不到它。

PandioML 中的类型安全可防止潜在的灾难性情况，并使管道开发更加高效和高效。

举个例子，下面的类定义了数据必须遵循的模式。此外，数据作为直接从模式构建的对象进来。

class Transaction(Record):
    trans_date_trans_time = String()
    cc_num = Integer()
    merchant = String()
    category = String()
    amt = Float()
    first = String()
    last = String()
    gender = String()
    street = String()
    city = String()
    state = String()
    zip = Integer()
    lat = Float()
    long = Float()
    city_pop = Integer()
    job = String()
    dob = String()
    trans_num = String()
    unix_time = Integer()
    merch_lat = Float()
    merch_long = Float()
    is_fraud = Integer()
    weekday = Integer()
    weekend = Integer()
    month = Integer()
    day = Integer()
    hour = Integer()

以上述为例，当数据流式传输到您的管道中时，它作为一个 Transaction 对象进入。

这使您可以快速访问如下属性：event.cc_num

借助模式提供的类型安全性，数据科学变得如此简单！

Schema Registry 由 Pandio.com 平台提供。对于大多数用例，PandioML 的大多数实现都会自动处理入站数据。

出站数据或来自 PandioML 的预测必须打包在一个模式中，然后由需要预测的服务使用。这与发送到 PandioML 的数据一样重要。

要查看使用模式返回对象的示例，请参见以下示例：餐厅访问

此示例显示正在创建模式，然后将数据放入对象中，然后返回对象。然后将该对象发送到输出主题。

使用 PandioML 交互式会话进行调试

你有没有问过自己这些问题之一？

• 到底发生了什么？
• 这个错误是什么意思？
• 该值不正确...我的代码的哪一部分是这样做的？
• 我的管道不工作，是什么问题？

如果你有，你并不孤单。如果您还没有，请随时跳过本节！

为了帮助找到问题并快速解决问题，PandioML 能够从代码中的任何位置启动交互式会话。这将停止执行并打开一个交互式 Python 会话，让您可以将代码实时注入到代码执行中。无需添加一堆打印语句来弄清楚发生了什么！

要启动交互式会话，请从此处导入交互式方法：

from pandioml.core import interact

然后像这样调用它：interact(banner='Helpful Note Where This Was Triggered', local=locals())

当你运行你的代码时，它会在调用这个方法的地方停止，让你将任何你想要的 Python 代码注入到执行中。

使用local，您可以更改变量的范围，并根据需要进行访问local=globals()。

您还可以在整个代码中添加许多此类调用。当您准备好继续执行代码时，只需键入CTRL + D.

调试愉快！

例子

./examples/form_fraud

此示例结合了 NaiveBayes 模型、FormSubmissionGenerator 和一个管道，以演示如何预测电子邮件是来自 Yahoo.com 还是 Hotmail.com

./examples/restaurant_visits

此示例结合了 LinearRegression 模型、RestaurantVisitorsDataset 和管道，以演示如何预测餐厅将获得多少访问。

函数.py

这是 PandioML 的核心。每个项目的起点都是function.py文件。所有辅助方法、魔术酱、嵌入式包、cli 工具等都存在以帮助构建在 Pandio 平台上运行的功能。在这些功能中的每一个中，通常都有一个可以进行准确预测的模型。它使用什么数据、算法、特征提取、拟合、预测、流水线甚至标记，完全取决于您。该功能是您的沙盒，所有乐趣都从这里开始。PandioML 中的所有内容都旨在帮助通过机器学习更轻松地创造价值。

在为每个项目生成的函数文件中只需要定义两件事，一个是model您想使用的，一个是pipelines您想针对每个单独的流式事件执行的。

可以创建任意数量的类或方法来帮助构建功能。

这pandioml.function.FunctionBase是使用 PandioML 构建模型的核心组件。它提供了帮助方法和抽象方法，使构建和部署模型变得容易。

pandioml.function.Context提供本地辅助方法来模拟部署到生产环境时可用的内容，以实现更快的本地迭代测试。

pandioml.function.Storage提供对最终一致的分布式键值存储服务的访问。

pandioml.function.Logger提供本地辅助方法来模拟部署到生产环境时可用的内容，以实现更快的本地迭代测试。

贡献

欢迎所有贡献。

参与的最佳方式如下：

1. 问题

   这是报告 PandioML 发现的任何问题的好地方。错误、不一致、缺少文档或任何阻碍使用 PandioML 的东西。

2. 讨论

   这是与 PandioML 相关的任何内容的好地方。提出功能、提出问题、突出显示用例或您能想象到的任何其他事情。

如果您想向此库提交拉取请求，请阅读贡献者指南。

执照

PandioML 在SSPL 许可下获得许可。