大名单
项目描述
大名单
biglist
提供了一个类Biglist
,它通过熟悉的列表接口实现了一个持久化的、内存不足的 Python 数据结构操作。主要用例是处理大量无法放入内存的数据。
持久性可以在本地磁盘或云 blob 存储中。
突变是仅附加的。不支持更新列表的现有元素。
支持按索引和切片的随机元素访问,但未优化。推荐的消耗方式是迭代,它针对速度进行了优化。
支持分布式读写。Biglist
这意味着由多个工作人员同时附加或读取 a 。在读取的情况下,Biglist
工人之间的数据被分割。当存储在本地时,工作者是多个线程或进程。当存储是远程的(即在云 blob 存储中)时,工作人员是一台或多台机器上的多个线程或进程。
当然,由多个独立工作者同时读取整个列表也是可能的。然而,这并不称为“分布式”阅读。
博客文章中描述了这项工作的一个非常早期的版本。
地位
生产就绪。
项目详情
下载文件
下载适用于您平台的文件。如果您不确定要选择哪个,请了解有关安装包的更多信息。
源分布
biglist-0.6.8.tar.gz
(11.4 kB
查看哈希)
内置分布
biglist-0.6.8-py3-none-any.whl
(11.2 kB
查看哈希)