pd-to-mssql 0.2.1

pd_to_mssql ：将 pandas 数据帧快速上传到 Microsoft SQL Server

价值主张

pandas提供的令人难以置信的功能可以使ETL 任务的自动化快速而轻松，如果该任务不涉及将数据上传到 Microsoft SQL Server，因为标准to_sql功能非常缓慢。此包仅使用 pandas 和pyodbc来实现与SSIS 包或SQLAlchemy + pyodbcfast_executemany=True选项相当的上传速度，同时还保持现有表结构完整（即删除目标表并使用新的列数据类型创建一个）并且只需要一行代码这样做。

pd_to_mssql 的可能替代方案

在编写此包之前，我尝试了许多其他 SQL Server 上传解决方案。以下是这些选项的简要列表以及我对它们的主要问题：

如何安装 pd_to_mssql

pip install pd_to_mssql

依赖项

• 熊猫
• pyodbc

如何使用 pd_to_mssql

from pd_to_mssql import to_sql
to_sql(df_in, table_name, cnxn_string, schema='dbo', index=True, replace=False, chunk_size=1000, thread_count=5, ignore_truncation=False, ignore_missing=False)

pd_to_mssql 的工作原理

首先，数据框中包含的所有数据都被字符串化以适应插入语句的创建。然后根据thread_count参数生成多个线程（来自线程模块）。然后，每个线程都接收一个单独的 pyodbc 连接。在每个连接中创建一个临时表，同时插入到每个临时表中。在所有线程上完成临时表插入后，临时表将被一一卸载到目标表中。仅当所有临时表插入成功完成时，才完成最后一步。

列映射

对于目标表中的每个非标识列，提供的数据框中必须存在同名的列，但数据框中这些列的数据类型无关紧要，因为它们将根据列规范。如果提供的数据框中不存在该列，则将引发 MissingColumnsException ，除非ignore_missing=True，在这种情况下，如果该列可以为空，则将空值插入该列。

调试

有些错误会通过初始验证检查，并且只有在生成插入语句后才会被捕获。因此，生成的 SQLExcetions 通常包含非常少的用于识别问题的有用信息。为了帮助调试，每个线程中第一个失败的插入语句将被写入磁盘中的一个目录中，该目录__pd_to_mssql_exception位于上载时位于当前工作目录中的目录中。从那里，您将能够在 SSMS 中运行这些脚本，以轻松识别它们失败的位置和原因。根据我的经验，进入此阶段的最常见问题源于无效的数据转换。EG 无法识别的数据格式字符串表示（上传前转换为 Datetime.Date(time)）或字符串列，其中包含带有少数非数字字符实例的数字数据。

杂项说明

• 只有在没有错误的情况下才会将插入提交到数据库。如果抛出 SQLException，则不会向目标数据库插入任何行。
• 如果replace=True则只有在临时表插入过程中没有错误时才会发生表截断。