tafra 1.0.9

一个简短的例子

>>> from tafra import Tafra

>>> t = Tafra({
...    'x': np.array([1, 2, 3, 4]),
...    'y': np.array(['one', 'two', 'one', 'two'], dtype='object'),
... })

>>> t.pformat()
Tafra(data = {
 'x': array([1, 2, 3, 4]),
 'y': array(['one', 'two', 'one', 'two'])},
dtypes = {
 'x': 'int', 'y': 'object'},
rows = 4)

>>> print('List:', '\n', t.to_list())
List:
 [array([1, 2, 3, 4]), array(['one', 'two', 'one', 'two'], dtype=object)]

>>> print('Records:', '\n', tuple(t.to_records()))
Records:
 ((1, 'one'), (2, 'two'), (3, 'one'), (4, 'two'))

>>> gb = t.group_by(
...     ['y'], {'x': sum}
... )

>>> print('Group By:', '\n', gb.pformat())
Group By:
Tafra(data = {
 'x': array([4, 6]), 'y': array(['one', 'two'])},
dtypes = {
 'x': 'int', 'y': 'object'},
rows = 2)

灵活性

有一些适用于pandas的代码，或者只是一种你喜欢的做事方式？tafra很灵活：

>>> df = pd.DataFrame(np.c_[
...     np.array([1, 2, 3, 4]),
...     np.array(['one', 'two', 'one', 'two'])
... ], columns=['x', 'y'])

>>> t = Tafra.from_dataframe(df)

回去也很简单：

>>> df = pd.DataFrame(t.data)

读取操作

直接访问：

>>> %timemit x = t._data['x']
55.3 ns ± 5.64 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)

间接支持Tafra切片和numpy的高级索引：

>>> %timemit x = t['x']
219 ns ± 71.6 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

熊猫时间：

>>> %timemit x = df['x']
1.55 µs ± 105 ns per loop (mean ± std. dev. of 7 runs, 1000000 loops each)

这是 df.values()、df.to_numpy()和df.loc[]的替代方法中访问 numpy 数组的最快方法。

赋值操作

不建议直接访问，因为它避免了验证步骤，但它确实提供了对数据属性的快速访问：

>>> x = np.arange(6)

>>> %timeit tf._data['x'] = x
65 ns ± 5.55 ns per loop (mean ± std. dev. of 7 runs, 10000000 loops each)

由于验证检查以确保tafra的一致性，间接访问会降低性能：

>>> %timeit tf['x'] = x
7.39 µs ± 950 ns per loop (mean ± std. dev. of 7 runs, 100000 loops each)

即便如此，与pandas相比还是有相当大的性能提升。

熊猫时间：

>>> %timeit df['x'] = x
47.8 µs ± 3.53 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

分组操作

tafra还擅长聚合方法，其中主要是类似于 SQL 的GROUP BY和 split-apply-combine 等效于类似于 SQL 的 GROUP BY，然后通过LEFT JOIN返回原始表。

>>> %timeit tf.group_by(['y', 'z'], {'x': sum})
138 µs ± 4.03 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

>>> %timeit tf.transform(['y', 'z'], {'sum_x': (sum, 'x')})
161 µs ± 2.31 µs per loop (mean ± std. dev. of 7 runs, 10000 loops each)

下面给出了等效的pandas函数。它们需要多个对象方法链来执行相同的角色，并且转换需要复制操作并分配到复制的DataFrame中以保持不变性。

>>> %timeit df.groupby(['y','z']).agg({'x': 'sum'}).reset_index()
2.5 ms ± 177 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

>>> %%timeit
... tdf = df.copy()
... tdf['x'] = df.groupby(['y', 'z'])[['x']].transform(sum)
2.81 ms ± 143 µs per loop (mean ± std. dev. of 7 runs, 100 loops each)

1.0.7

• 处理read_csv()中的缺失值或 NULL 值。

• 更新 dtype 时将空元素强制转换为 None 以避免np.astype()失败。

• 更新一些类型，小的重构以提高性能

1.0.6

• 构造函数中的附加验证，主要用于评估值的迭代

• 根据参数将col_map拆分为col_map和key_map作为原始函数的返回签名。

• 修复一些文档拼写错误

1.0.5

• 添加tuple_map方法

• 重构所有迭代器和..._map函数以提高性能

• 如果将np.ndarray作为构造函数的键给出，则解包

• 如果已知输入有效以提高性能，则在__post_init__中添加validate=False

1.0.4

• 添加read_csv , to_csv

• 数据验证的各种重构和改进

• 将typing_extensions添加到依赖项

• 更改 dtype 存储方法，从np.dtype()中提取str表示

1.0.3

• 添加read_sql和read_sql_chunks

• 添加to_tuple和to_pandas

• 清理构造函数数据验证

1.0.2

• 添加 object_formatter 以公开 dtype=object 的用户格式

• 索引和切片的改进

1.0.1

• 添加迭代函数

• 添加地图功能

• 各种构造函数改进

1.0.0

• 初始发行