实用功能
项目描述
Pyplatform 是在混合云环境中围绕 Google BigQuery 构建的数据分析平台架构。
平台：
- 提供快速、可扩展且可靠的 SQL 数据库解决方案
- 通过在 python 运行时环境中使用无服务器计算解决方案构建数据管道来抽象基础设施
- 通过使用 jupyter lab 作为主要工具来简化开发环境
安装
pip install pyplatform
搭建开发环境
git clone https://github.com/mhadi813/pyplatform
cd pyplatform
conda env create -f pyplatform_dev.yml
环境变量
import os
os.environ['GOOGLE_APPLICATION_CREDENTIALS'] = 'path/to/default_service_account.json'
os.environ['DATASET'] = 'default_bigquery_dataset_name'
os.environ['STORAGE_BUCKET'] = 'default_storage_bucket_id'
用法
常见的数据管道架构：
- Http 来源
-本地服务器
- Bigquery 与 Azure 逻辑应用程序的集成
-事件驱动的 ETL 过程
-流式传输管道
探索模块
import pyplatform as pyp
pyp.show_me()
关
pyplatform -udf-0.0.4.tar.gz 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 3581303ba9340b45d6461b0380b7a0595c30d05858150e158463e5f151a72aed |
|
| MD5 | 0f2ba72dbe68a9e496dbf1858f6d5258 |
|
| 布莱克2-256 | a452c781b9a39ef000d530cbb29570177e3f68b3c3de76463c2bff34245fd871 |
关
pyplatform_udf -0.0.4-py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | 70cf1baad9d4755126bee9a38064175b4948083e9408e652151029901f320661 |
|
| MD5 | 557b9f605a272b6a917204d886c1d922 |
|
| 布莱克2-256 | b2c38b6a994823335094d58ed6ed109e2700da4f60bf8a3fe30b427754e85ed0 |