sureal 0.9.0

SUREAL - 主观恢复分析

SUREAL 是 Netflix 开发的一个工具箱，其中包括许多模型，用于从心理视觉主观实验中获得的噪声测量中恢复平均意见分数 (MOS)。阅读这篇论文和这篇最新论文了解一些背景知识。

SUREAL 还包括从配对比较 (PC) 主观数据中恢复 MOS 的模型，例如Thurstone (Case V)和Bradley-Terry。

安装

SUREAL 可以通过pip（可通过PyPI获得）安装，也可以在本地安装。

pip install sureal

pip install -r requirements.txt

python -m unittest discover --start test --pattern '*_test.py' --verbose --buffer

pip install .

命令行中的用法

跑：

sureal --help

这将打印使用信息：

usage: sureal [-h] --dataset DATASET --models MODELS [MODELS ...] [--output-dir OUTPUT_DIR]
[--plot-raw-data] [--plot-dis-videos] [--plot-observers]

optional arguments:
  -h, --help            show this help message and exit
  --dataset DATASET     Path to the dataset file.
  --models MODELS [MODELS ...]
                        Subjective models to use (can specify more than one),
                        choosing from: MOS, P910, P913, BT500.
  --output-dir OUTPUT_DIR
                        Path to the output directory (will force create is not existed).
                        If not specified, plots will be displayed and output will be printed.
  --plot-raw-data       Plot the raw data. This includes the raw opinion scores presented
                        in a video-subject matrix, counts per video and counts per subject.
  --plot-dis-videos     Plot the subjective scores of the distorted videos.
  --plot-observers      Plot the scores of the observers.

下面是两个示例用法：

sureal --dataset resource/dataset/NFLX_dataset_public_raw_last4outliers.py --models MOS P910 \
    --plot-raw-data --plot-dis-videos --plot-observers --output-dir ./output/NFLX_dataset_public_raw_last4outliers
sureal --dataset resource/dataset/VQEGHD3_dataset_raw.py --models MOS P910 \
    --plot-raw-data --plot-dis-videos --plot-observers --output-dir ./output/VQEGHD3_dataset_raw

这里--models是包中提供的可用主观模型，包括：

• MOS - 标准平均意见分数。

• P910 - 基于主题偏差/不一致建模和最大似然估计 (MLE) 的模型，在ITU-T P.910 (11/21) 附件 E中新标准化（也在ITU-T P.913 (06/21) 12.6 中） . 上述两篇论文（论文 1和论文 2）涵盖了算法的细节。

• P913 - 基于主题偏差消除的模型，在ITU-T P.913 (06/21) 12.4中标准化。

• BT500 - 基于主题拒绝的模型，在ITU-R BT.500-14 (10/2019) A1-2.3.1中标准化。

Sureal命令还可以为配对比较 (PC) 主观数据调用主观模型。下面是一个例子：

sureal --dataset resource/dataset/lukas_pc_dataset.py --models THURSTONE_MLE BT_MLE \
--plot-raw-data --plot-dis-videos --output-dir ./output/lukas_pc_dataset

这里--models是包中提供的可用 PC 主观模型：

• THURSTONE_MLE -瑟斯通（案例 V）模型，带有 MLE 求解器。

• BT_MLE - Bradley-Terry模型，带有 MLE 求解器。

两种模型都利用了基于 MLE 的求解器。有关实现背后的数学原理，请参阅此文档。

ref_videos = [
    {
      'content_id': 0, 'content_name': 'checkerboard',
      'path': 'checkerboard_1920_1080_10_3_0_0.yuv'
    },
    {
      'content_id': 1, 'content_name': 'flat',
      'path': 'flat_1920_1080_0.yuv'
    },
]
dis_videos = [
    {
      'content_id': 0, 'asset_id': 0,
      'os': [100, 100, 100, 100, 100],
      'path': 'checkerboard_1920_1080_10_3_0_0.yuv'
    },
    {
      'content_id': 0, 'asset_id': 1,
      'os': [40, 45, 50, 55, 60],
      'path': 'checkerboard_1920_1080_10_3_1_0.yuv'
    },
    {
      'content_id': 1, 'asset_id': 2,
      'os': [90, 90, 90, 90, 90],
      'path': 'flat_1920_1080_0.yuv'
    },
    {
      'content_id': 1, 'asset_id': 3,
      'os': [70, 75, 80, 85, 90],
      'path': 'flat_1920_1080_10.yuv'
    },
]
ref_score = 100

'os': {'Alice': 40, 'Bob': 45, 'Charlie': 50, 'David': 55, 'Elvis': 60}

'os': {'Alice': 40, 'Bob': [45, 45], 'Charlie': [50, 60], 'David': 55, 'Elvis': 60}

'os': {('Alice', 1): 40, ('Bob', 3): 45}

不推荐使用的命令行

仍然可以通过以下方式调用已弃用的命令行版本：

PYTHONPATH=. python ./sureal/cmd_deprecated.py

Python代码中的用法

有关在 Google Collab 笔记本中使用 SUREAL 的示例脚本，请参见此处。

对于开发人员

SUREAL 使用tox管理自动测试和与Github上的Travis CI的持续集成，以及用于新版本发布、打包和发布的setupmeta 。有关详细信息，请参阅DEVELOPER.md。