pipelinewise-target-bigquery

根据Singer 规范将数据加载到 BigQuery 的Singer目标。

这是一个PipelineWise兼容的目标连接器。

如何使用它

运行此目标的推荐方法是从PipelineWise使用它。从 PipelineWise 运行它时，您无需使用 JSON 文件配置此分流器，并且大部分操作都是自动化的。请查看Target BigQuery中的相关文档

如果您想独立运行此Singer Target ，请进一步阅读。

安装

首先，确保您的系统上安装了 Python 3，或者按照Mac或 Ubuntu的这些安装说明进行操作。

推荐使用 virtualenv：

make venv

跑步

像任何其他遵循歌手规范的目标一样：

some-singer-tap | target-bigquery --config [config.json]

它正在读取来自 STDIN 的传入消息，并使用其中的属性config.json将数据上传到 BigQuery。

注意：为避免版本冲突tap，请targets在单独的虚拟环境中运行。

配置设置

运行目标连接器需要一个config.json文件。具有最小设置的示例：

{
  "project_id": "mygbqproject"
}

选项的完整列表config.json：

架构更改

由于 BigQuery 的工作方式，此目标确实遵循PipelineWise 规范以进行架构更改（版本控制列除外）。

BigQuery 不允许列重命名，因此列修改的工作方式如下：

版本控制列

当在源表中检测到数据类型更改时，目标连接器是版本控制列。版本控制列意味着保留具有旧数据类型的旧列，并通过根据类型（以及结构和数组的时间戳）向具有新数据类型的列名称添加后缀来创建新列。此新列将添加到表中。

例如，如果从 PipelineWise 更改的数据类型将按COLUMN_THREE以下 顺序复制数据：INTEGERVARCHAR

1. 在更改数据类型之前COLUMN_THREE就像INTEGER在源表中一样：

2. 数据类型更改后COLUMN_THREE保留INTEGER旧数据和使用仅在更改后保留数据的类型COLUMN_TREE__st创建的新列。STRING

.. 警告：：

请注意和列 NULL中的值。历史值不会转换为新的数据类型！ 如果在数据类型更改后需要表的实际表示，则需要重新同步表。COLUMN_THREECOLUMN_THREE__st

运行测试：

1. 定义需要运行测试的环境变量

  export GOOGLE_APPLICATION_CREDENTIALS=<credentials-json-file>
  export TARGET_BIGQUERY_PROJECT=<bigquery project to run your tests on>
  export TARGET_BIGQUERY_SCHEMA=<temporary schema for running the tests>

2. 在虚拟环境中安装 python 依赖项并运行鼻子单元和集成测试

make venv

3. 运行单元测试：

make unit_test

4. 要运行集成测试：

make integration_test

要运行 pylint：

1. 安装 python 依赖项并运行 python linter

make venv pylint

执照

Apache 许可证版本 2.0

请参阅许可证以查看全文。