数据整理组件

该项目提供了一组用于进行轻量级数据整理的实用程序。

该项目有两个目标：

1. 为序列化的争吵指令创建可共享的客户端/服务器模式
2. 维护一个基本的争论引擎（基于 Arquero）的实现，以及在 Pandas 中实现的 python

建造

• 您需要安装诗歌python 包管理器。
• 跑：poetry install

用法

该项目旨在用作轻量级数据整理的库。在示例文件夹中有一个笔记本，它提供了几个示例，说明如何创建数据整理管道以及如何读取可由 js 实现生成的 json 规范。

连接两个表的示例：

from data_wrangling_components.pipeline import Pipeline
import data_wrangling_components.types as types
import pandas as pd

# id   name
# 1    bob
# 2    joe
# 3    jane
parents = pd.DataFrame({
    "id": [1, 2, 3],
    "name": ['bob', 'joe', 'jane']
})

# id   kid
# 1    billy
# 1    jill
# 2    kaden
# 2    kyle
# 3    moe
kids = pd.DataFrame({
    "id": [1, 1, 2, 2, 3],
    "kid": ['billy', 'jill', 'kaden', 'kyle', 'moe']
})

pipeline = Pipeline()

pipeline.add_dataset('parents', parents)
pipeline.add_dataset('kids', kids)

pipeline.add(Step(
    verb=Verb.join,
    input="parents",
    output="output",
    args={
        "other": "kids",
        "on":["id"]
    }
))

# id   name    kid
# 1    bob     billy
# 1    bob     jill
# 2    joe     kaden
# 2    joe     kyle
# 3    jane    moe
result = pipeline.run()

贡献

这个项目欢迎贡献和建议。大多数贡献要求您同意贡献者许可协议 (CLA)，声明您有权并且实际上确实授予我们使用您的贡献的权利。有关详细信息，请访问https://cla.opensource.microsoft.com。

当您提交拉取请求时，CLA 机器人将自动确定您是否需要提供 CLA 并适当地装饰 PR（例如，状态检查、评论）。只需按照机器人提供的说明进行操作。您只需使用我们的 CLA 在所有存储库中执行此操作一次。

本项目采用了微软开源行为准则。有关详细信息，请参阅行为准则常见问题解答或联系opencode@microsoft.com提出任何其他问题或意见。

商标

本项目可能包含项目、产品或服务的商标或徽标。Microsoft 商标或徽标的授权使用必须遵守 Microsoft 的商标和品牌指南。在此项目的修改版本中使用 Microsoft 商标或徽标不得造成混淆或暗示 Microsoft 赞助。对第三方商标或徽标的任何使用均受这些第三方政策的约束。