pgdatacleaner

目的

屏蔽数据库中的敏感数据（即 PII/PHI），使其可用于开发/测试目的。它旨在保留 ID，因此由于某种原因在 PK/FK 中具有 PII 数据的数据库将无法正常工作。

用法

首先，从现有数据库创建一个数据字典：

datadict 'postgresql://<user>:<password>@<host>/<database>' <schema> my_pii_dd.csv

您将需要编辑此文件并将任何需要屏蔽的列设置pii为，并将其设置为可用类型之一以生成假数据。将列出所有可用的伪造者。yespii_typedataclean -h

然后，运行dataclean以修改 CSV 中指定的数据库屏蔽数据。对于任何显着大小的数据库，这都不是一个非常快速的操作。

dataclean -f 'postgresql://<user>:<password>@<host>/<database>' -f my_edited_pii_dd.csv

如果您更改架构，添加/修改/删除列和表，您可以使用最后一个副本作为种子重新生成数据字典，因此您不必重新指定未更改的列：

datadict 'postgresql://<user>:<password>@<host>/<database>' <schema> -i my_existing_dd.csv my_new_pii_dd.csv

地位

稳定，支持 postgresql 和 sqlite3。由 45% 的待办事项和 hacks 组成 - 仍然有效。

发布历史

* 1.1.4
  * Added static_str
  * Handle lists and dicsts as JSONB [] when writing back rows

注意事项

我不对你的数据负责。除非您想测试备份还原过程，否则切勿对生产数据库运行此操作。

执照

版权所有 (c) 2021, Fredrik Hård

随心所欲，别怪我。您也可以根据 MIT 或 BSD 许可或以下更宽松的许可使用此软件：

特此免费授予任何人获得本软件和相关文档文件（“软件”）的副本，以不受限制地处理本软件，包括但不限于使用、复制、修改、合并的权利、发布、分发、再许可和/或出售本软件的副本，并允许向其提供本软件的人这样做。

本软件按“原样”提供，不提供任何形式的明示或暗示保证，包括但不限于适销性、特定用途适用性和非侵权保证。在任何情况下，作者或版权持有人均不对任何索赔、损害或其他责任承担任何责任，无论是在合同、侵权或其他方面，由本软件或本软件的使用或其他交易引起或与之相关。软件。