multitables 2.0.1

新版本 2

现在可以通过异步请求进行随机访问读取。这些请求的结果被放置在共享内存中。有关新界面的示例，请参阅操作方法和单元测试。

执照

该软件在 MIT 许可下分发。有关详细信息，请参阅LICENSE.txt文件。

安装

pip install multitables

multitables依赖于表（pytables 包）、numpy、msgpack和wrapt。该软件包与最新版本的 Python 3 兼容，因为 pytables 不再支持 Python 2。

快速入门：流式传输

import multitables
stream = multitables.Streamer(filename='/path/to/h5/file')
for row in stream.get_generator(path='/internal/h5/path'):
    do_something(row)

快速入门：随机访问

import multitables
reader = multitables.Reader(filename='/path/to/h5/file')

dataset = reader.get_dataset(path='/internal/h5/path')
stage = dataset.create_stage(10) # Size of the shared
                                    # memory stage in rows

req = dataset['col_A'][30:35] # Create a request as you
                                 # would index normally.

future = reader.request(req, stage) # Schedule the request
with future.get_unsafe() as data:
    do_something(data)
data = None # Always set data to None after get_unsafe to
            # prevent a dangling reference

# ... or use a safer proxy method

req = dataset.col('col_A')[30:35,...,:100]

future = reader.request(req, stage)
with future.get_proxy() as data:
    do_something(data)

# ... or get a copy of the data

req = dataset['col_A'][30:35,np.arange(500) > 45]

future = reader.request(req, stage)
do_something(future.get())

例子

请参阅操作指南以获取更深入的文档，以及 单元测试以获取完整示例。

文档

提供在线文档。一个如何给出图书馆的基本概述。基准测试使用各种压缩算法和硬件配置来测试库的速度。

可以使用sphinx从docs文件夹构建离线文档。