scandir-rs

scandir_rs是一个类似的目录迭代模块os.walk()，但具有更多的功能和更高的速度。根据函数调用，它会生成路径列表、按条目类型分组的列表元组或DirEntry包含文件类型和统计信息以及名称的对象。通过在后台并行化迭代，使用scandir_rs速度比（取决于平台、文件系统和文件树结构）快 2-17 倍。os.walk()

如果您只对目录统计感兴趣，可以使用 submodule count。

scandir_rs包含以下子模块：

• count用于确定目录的统计信息。
• walk用于获取目录条目的名称。
• scandir用于获取目录条目的详细统计信息。

有关 API，请参阅：

• 子模块doc/ count.mdcount
• 子模块doc/ walk.mdwalk
• 子模块doc/ scandir.mdscandir

安装

要从源代码构建这个轮子，您需要使用带有通道nightly和工具的Rust maturin。

切换到频道nightly：

rustup default nightly

安装maturin：

cargo install maturin

构建轮（不在 Windows 上）：

maturin build --release --strip

在 Windows 上构建轮子：

maturin build --release --strip --no-sdist

maturin将为您系统上安装的所有 Python 版本构建轮子。

为不同的 Python 版本构建和运行测试

为了更容易为几个不同的 Python 版本构建轮子，build_wheels.sh添加了脚本。它为 Python 3.6、3.7、3.8 和 3.9 版本创建了轮子。此外，它pytest在成功创建每个轮子后运行。

为了能够运行脚本pyenv，首先需要安装包括上面提到的所有 Python 解释器版本。

pyenv可以在此处找到如何安装的说明。

例子

获取目录的统计信息：

import scandir_rs as scandir

print(scandir.count.count("~/workspace", extended=True))

相同，但在后台使用类实例异步：

import scandir_rs as scandir

scanner = scandir.count.Count("~/workspace", extended=True))
scanner.start())  # Start background thread pool
...
value = scanner.statistics  # Can be read at any time
...
scanner.stop()  # If you want to cancel the scanner

并使用上下文管理器：

import scandir_rs as scandir

C = scandir.count.Count("~/workspace", extended=True))
with C:
    while C.busy():
        statistics = C.statistics
        # Do something

os.walk()例子：

import scandir_rs as scandir

for root, dirs, files in scandir.walk.Walk("~/workspace"):
    # Do something

带有扩展数据：

import scandir_rs as scandir

for root, dirs, files, symlinks, other, errors in scandir.walk.Walk("~/workspace",
        return_type=scandir.RETURN_TYPE_EXT):
    # Do something

os.scandir()例子：

import scandir_rs as scandir

for path, entry in scandir.scandir.Scandir("~/workspace",
        return_type=scandir.RETURN_TYPE_EXT):
    # entry is a custom DirEntry object

基准

见例子/benchmark.py

在下表中，scandir_rs.walk.Walk行返回与 os.walk 相当的结果。

带有 Ryzen 5 2400G 和 SSD 的 Linux

目录~/workspace与

• 22845 个目录
• 321354 个文件
• 130 个符号链接
• 22849 个硬链接
• 4 台设备
• 1 管
• 4.6GB 大小和 5.4GB 磁盘使用量

在 Linux 上快2 倍。

Windows 10 笔记本电脑 Core i7-4810MQ @ 2.8GHz 笔记本电脑，MTF SSD

目录C:\Windows与

• 84248 个目录
• 293108 个文件
• 44.4GB 大小和 45.2GB 磁盘使用量

在 Windows 10 上速度提升高达6.7 倍。

目录C:\testdir与

• 185563 个目录
• 1641277 个文件
• 2696 个符号链接
• 97GB 大小和 100.5GB 磁盘使用量

在 Windows 10 上速度提升高达17.4 倍。