评分者评分建模工具
项目描述
评分者评分建模工具
介绍
笔试和口试响应的自动评分是教育自然语言处理中一个不断发展的领域。自动评分引擎采用机器学习模型，根据从这些响应的文本/音频中提取的特征来预测这些响应的分数。自动评分引擎的示例包括用于书面回答的Project Essay Grade和用于口头回答的SpeechRater 。
评分者评分建模工具 (RSMTool) 是一个 python 包，它可以在单个管道中自动化并组合在构建和评估此类评分模型时通常进行的多种分析。RSMTool 的输出是一个全面的、可定制的 HTML 统计报告，其中包含这些多重分析的输出。虽然 RSMTool 确实使使用单个命令运行一组标准分析变得非常简单，但它也是完全可定制的，允许用户轻松排除不需要的分析、修改默认分析，甚至在报告中包含自定义分析。
我们希望 RSMTool 的主要用户是致力于开发新的自动评分引擎或改进现有引擎的研究人员。请注意，RSMTool 本身并不是评分引擎，而是用于构建和评估可用于此类引擎的机器学习模型的工具。
RSMTool 由用户必须提供的配置文件驱动。鉴于大量可用选项，这可能会变得复杂，尤其是对于新用户而言。这就是为什么 RSMTool 可以帮助用户通过引导提示以交互方式生成配置文件的原因！下面的视频演示了此功能。
入门
要开始使用 RSMTool，请参阅详尽的官方文档。如果您在 macOS 上使用Dash应用程序，您还可以下载完整的 RSMTool 文档以供离线使用。转到 Dash 首选项，单击“下载”，然后单击“用户贡献”，然后搜索“RSMTool”。
要求
蟒蛇 >=3.8, <3.11
麻木的
scipy
scikit-学习
统计模型
骷髅
熊猫
蟒蛇
朱庇特
笔记本
海运
贡献
非常欢迎对 RSMTool 的贡献。请参阅文档以了解如何开始为 RSMTool 开发新特性或功能。
引用
如果您在工作中使用 RSMTool，您可以按如下方式引用它：
工作重点
Madnani，Nitin 和 Loukina，Anastassia。“RSMTool：用于构建和评估自动评分模型的工具集”。开源软件杂志 1(3)，2016。
中文提供
@article{MadnaniLoukina2016,
doi = <s>{10.21105/joss.00033}</s>,
url = <s>{http://dx.doi.org/10.21105/joss.00033}</s>,
year = <s>{2016}</s>,
month = <s>{jul}</s>,
publisher = <s>{The Open Journal}</s>,
volume = <s>{1}</s>,
number = <s>{3}</s>,
author = <s>{Nitin Madnani and Anastassia Loukina}</s>,
title = <s>{{RSMTool}: A Collection of Tools for Building and Evaluating Automated Scoring Models}</s>,
journal = <s>{{Journal of Open Source Software}}</s>
}变更日志
请参阅GitHub 发布。
项目详情
维护者
下载文件
下载适用于您平台的文件。如果您不确定要选择哪个，请了解有关安装包的更多信息。