语言模型评估工具

概述

该项目提供了一个统一的框架来在大量不同的评估任务上测试自回归语言模型（GPT-2、GPT-3、GPTNeo 等）。

特征：

• 已实施 200 多项任务
• 支持 GPT-2、GPT-3、GPT-Neo、GPT-NeoX 和 GPT-J，具有灵活的标记化无关接口
• 任务版本控制以确保可重复性

安装

pip install lm-eval

基本用法

要在 NLU 任务（例如 LAMBADA、HellaSwag）上评估模型（例如 GPT-2），您可以运行以下命令。在报告评估工具的结果时，请包括任务版本（显示在 中results["versions"]）以实现可重复性。这允许对任务进行错误修复，同时还确保以前报告的分数是可重现的。有关详细信息，请参阅任务版本控制部分。

python main.py \
	--model gpt2 \
	--device cuda:0 \
	--tasks lambada,hellaswag

（这默认使用 gpt2-117M 根据 HF 默认值，使用 --model_args 指定其他 gpt2 大小）

可以使用--model_args标志向模型构造函数提供其他参数。最重要的是，该gpt2模型可用于加载任意 HuggingFace 模型。例如，要运行 GPTNeo，请使用以下命令：

python main.py \
	--model gpt2 \
	--model_args pretrained=EleutherAI/gpt-neo-2.7B \
	--device cuda:0 \
	--tasks lambada,hellaswag

如果您有权访问 OpenAI API，您还可以评估 GPT-3：

export OPENAI_API_SECRET_KEY=YOUR_KEY_HERE
python main.py \
	--model gpt3 \
	--model_args engine=davinci \
	--tasks lambada,hellaswag

如果除了运行任务本身之外，您还想验证正在执行的任务的数据完整性，您可以使用以下--check_integrity标志：

python main.py \
	--model gpt3 \
	--model_args engine=davinci \
	--tasks lambada,hellaswag \
	--check_integrity

要评估 HF 上不可用的 mesh-transformer-jax 模型，请通过此脚本调用 eval 工具。

实施新任务

要在 eval 工具中实施新任务，请参阅本指南。

引用为

@software{eval-harness,
  author       = {Gao, Leo and
                  Tow, Jonathan and
                  Biderman, Stella and
                  Black, Sid and
                  DiPofi, Anthony and
                  Foster, Charles and
                  Golding, Laurence and
                  Hsu, Jeffrey and
                  McDonell, Kyle and
                  Muennighoff, Niklas and
                  Phang, Jason and
                  Reynolds, Laria and
                  Tang, Eric and
                  Thite, Anish and
                  Wang, Ben and
                  Wang, Kevin and
                  Zou, Andy},
  title        = {A framework for few-shot language model evaluation},
  month        = sep,
  year         = 2021,
  publisher    = {Zenodo},
  version      = {v0.0.1},
  doi          = {10.5281/zenodo.5371628},
  url          = {https://doi.org/10.5281/zenodo.5371628}
}

完整的任务列表

用法

评估任务

可以使用--model_args标志向模型构造函数提供其他参数。最重要的是，该gpt2模型可用于加载任意 HuggingFace 模型，如下所示：

python main.py \
	--model gpt2 \
	--model_args pretrained=EleutherAI/gpt-neo-1.3B \
	--device cuda:0 \
	--tasks lambada,hellaswag \
	--num_fewshot 2

要检查 LM 输入的样子，您可以运行以下命令：

python write_out.py \
	--tasks all_tasks \
	--num_fewshot 5 \
	--num_examples 10 \
	--output_base_path /path/to/output/folder

这将为每个任务写出一个文本文件。

代码结构

该库有两个主要组件：

1. LMs（语言模型），例如 GPT-2、GPT-3
2. 任务，例如 MNLI、RTE、SQuAD（即将推出）

LMs ( lm_eval.models) 和 Tasks ( lm_eval.tasks) 都保存在注册表数据结构中，以便于 CLI 实例化。

如果您想扩展模型或任务，只需添加一个新的 LM 或 Task 子类，并使用注册表装饰器进行装饰。

GPT-3 评估项目跟踪我们实施新任务的进度。现在，我们专注于加载所有数据集，以便我们可以对训练数据进行重复数据删除。实施实际评估很好，但目前没有必要。

任务版本控制

为了帮助提高可重复性，所有任务都有一个 VERSION 字段。从命令行运行时，这会在表中的列中报告，或者在评估器返回字典的“版本”字段中报告。该版本的目的是，如果任务定义发生变化（即修复错误），那么我们可以准确地知道哪些指标是使用旧的错误实现计算的，以避免不公平的比较。为了强制执行这一点，有一些单元测试可以确保所有测试的行为与首次实施时保持一致。任务版本从 0 开始，每次进行重大更改时，版本都会增加 1。

报告评估工具结果时，请同时报告每个任务的版本。这可以通过表格中的单独列来完成，也可以通过报告任务名称并附加版本来完成：taskname-v0。

描述

1. LM 评估

给定一个 LM，我们希望在广泛的 NLU 任务上对其进行评估。我们至少应该涵盖 GPT-3 论文中的一组任务，以及任何其他相关的任务/基准。我们将遵循 GPT-3 格式的 a) 零样本，b) 单样本，c) 少样本评估。

为此，我们需要 3 个组件：

• 数据下载器（与后面的部分共享，可能需要直接链接到后两个组件）
• 任务格式化程序
• 任务评估器

数据下载器应下载相关任务的数据。

• 为此，我们应该严重依赖 Hugging Face 的 NLP。他们已经在处理数据脚本/缓存方面完成了大部分工作。
• 或者，我们可以直接依赖 HF-NLP 的缓存，但这使得处理非 HF-NLP 数据集变得很尴尬。否则，我们可以将它们写到 .jsonl 中。我的感觉是，NLU 数据存储与 LM 数据相比将是杯水车薪。
• 在我们不使用 HF-NLP 的地方，我们可以将数据保留为原始格式（.jsonl、tsv 等），并让其他组件处理它的转换。

任务格式化程序将任务输入数据格式化为 LM 可用格式。

• 对于给定的任务，我们应该潜在地支持多种格式，例如，某些格式可能更好或更适合 LM 评估。另请参阅：即时工程
• 任务格式化程序还应该支持将训练示例零/一次/几次打包到输入中。这可能需要与标记器进行奇怪的交互来处理最大标记问题。

任务评估员对任务进行评分。

• 从本质上讲，我们希望为所有输入示例生成输出预测，并将它们输入到一些弹出分数（或分数）的函数中。另一种方法是收集输出 logits 并根据预期的输出集对它们进行评分。
• 有些任务有奇怪的评估方案，所以我们应该尽可能地通用。
• 因此可能必须与格式化程序密切相关。
• 同样，我们应该利用 HF-NLP 的指标。我们不妨为模型提供足够通用的 API 来支持 OpenAI API。这可以加倍努力重现 OpenAI NLU 结果。

2.从LM训练集中去除val/test数据

有了数据下载器，我们只需要 (1) 公开验证/测试示例，(2) 从训练集中删除它们。

• 可以说，(2) 应该由 LM 预处理以更一般的方式处理。可能存在我们想要从训练中删除一些特定数据的非 NLU 评估案例。
• 根据我们如何准确地执行 val/test 删除，我们可能希望以多种方式格式化相同的示例，以确保它们不会以稍微调整的格式泄漏到训练集中。
• 思想实验：SQuAD 主要基于维基百科。我们到底想从 LM 中删除什么？
• [GPT-3]：在 GPT-3 中，他们试图从他们的 LM 集合中删除 val/test，但有一个导致泄漏的错误。所以他们最终做了相反的事情：从 val/test 中删除 LM 集中的重叠。时髦。
• [GPT-3]：详见第 30 页和附录 C。他们做了一些基于 n-gram 的时髦搜索和删除。我们应该考虑是否要完全遵循他们的协议

3. 将任务训练数据加入LM训练集

这部分是最简单的。我想我们只是写出一些包含训练数据的文本文件？我们可以让通常的 LM 预处理管道从那里处理它。