Skip to main content

大名单

项目描述

大名单

biglist提供了一个类Biglist,它通过熟悉的列表接口实现了一个持久化的、内存不足的 Python 数据结构操作。主要用例是处理大量无法放入内存的数据。

持久性可以在本地磁盘或云 blob 存储中。

突变是仅附加的。不支持更新列表的现有元素。

支持按索引和切片的随机元素访问,但未优化。推荐的消耗方式是迭代,它针对速度进行了优化。

支持分布式读写。Biglist这意味着由多个工作人员同时附加或读取 a 。在读取的情况下,Biglist工人之间的数据被分割。当存储在本地时,工作者是多个线程或进程。当存储是远程的(即在云 blob 存储中)时,工作人员是一台或多台机器上的多个线程或进程。

当然,由多个独立工作者同时读取整个列表也是可能的。然而,这并不称为“分布式”阅读。

博客文章中描述了这项工作的一个非常早期的版本。

地位

生产就绪。

项目详情


下载文件

下载适用于您平台的文件。如果您不确定要选择哪个,请了解有关安装包的更多信息。

源分布

biglist-0.6.8.tar.gz (11.4 kB 查看哈希)

已上传 source

内置分布

biglist-0.6.8-py3-none-any.whl (11.2 kB 查看哈希

已上传 py3