人工智能模型的性能指标（PerMetrics）框架

快速通知

• 在 1.3.0 版本中添加分类指标
• 向版本 1.2.2 添加更多指标
• 1.2.0 版本在计算多个指标（OOP 风格）方面存在严重问题，请尽快更新到 1.2.1 版本。

介绍

• PerMetrics 是一个用于机器学习模型性能指标的 Python 库。
• 该框架的目标是：
  • 结合回归、分类和聚类模型的所有指标
  • 帮助所有领域的用户尽快访问指标

依赖项

• Python (>= 3.6)
• 麻木 (>= 1.15.1)

用户安装

安装当前的 PyPI 版本：

pip install permetrics==1.3.0

或者从 GitHub 安装开发版本：

pip install git+https://github.com/thieu1995/permetrics

例子

文件夹中更复杂的测试：示例

该文档包括更详细的安装说明和解释。

from numpy import array
from permetrics.regression import RegressionMetric
from permetrics.classification import ClassificationMetric

#### Regression problem ==============================

## For 1-D array
y_true = array([3, -0.5, 2, 7])
y_pred = array([2.5, 0.0, 2, 8])

evaluator = RegressionMetric(y_true, y_pred, decimal=5)
print(evaluator.RMSE())
print(evaluator.MSE())

## For > 1-D array
y_true = array([[0.5, 1], [-1, 1], [7, -6]])
y_pred = array([[0, 2], [-1, 2], [8, -5]])

evaluator = RegressionMetric(y_true, y_pred, decimal=5)
print(evaluator.RMSE(multi_output="raw_values", decimal=5))
print(evaluator.MAE(multi_output="raw_values", decimal=5))


#### Classification problem ============================


## For integer labels or categorical labels
y_true = [0, 1, 0, 0, 1, 0]
y_pred = [0, 1, 0, 0, 0, 1]

# y_true = ["cat", "ant", "cat", "cat", "ant", "bird", "bird", "bird"]
# y_pred = ["ant", "ant", "cat", "cat", "ant", "cat", "bird", "ant"]

evaluator = ClassificationMetric(y_true, y_pred, decimal=5)

## Call specific function inside object, each function has 3 names like below

print(evaluator.f1_score())
print(evaluator.F1S(average="micro"))
print(evaluator.f1s(average="macro"))
print(evaluator.f1s(average="weighted"))

变更日志

• 有关 permetrics 的显着更改历史记录，请参阅ChangeLog.md。

重要链接

• 官方源码仓库：https ://github.com/thieu1995/permetrics

• 官方文档：https ://permetrics.readthedocs.io/

• 下载版本：https ://pypi.org/project/permetrics/

• 问题跟踪器：https ://github.com/thieu1995/permetrics/issues

• 这个项目也与我的另一个项目“元启发式”和“神经网络”有关，在这里查看

  • https://github.com/thieu1995/mealpy
  • https://github.com/thieu1995/opfunu
  • https://github.com/thieu1995/metaheuristics
  • https://github.com/chasebk

指标

贡献

引文

• 如果您在项目中使用 permetrics，请引用我的作品：

@software{thieu_nguyen_2020_3951205,
  author       = {Nguyen Van Thieu},
  title        = {Permetrics: A framework of performance metrics for artificial intelligence models},
  month        = jul,
  year         = 2020,
  publisher    = {Zenodo},
  doi          = {10.5281/zenodo.3951205},
  url          = {https://doi.org/10.5281/zenodo.3951205}
}

@article{nguyen2019efficient,
  title={Efficient Time-Series Forecasting Using Neural Network and Opposition-Based Coral Reefs Optimization},
  author={Nguyen, Thieu and Nguyen, Tu and Nguyen, Binh Minh and Nguyen, Giang},
  journal={International Journal of Computational Intelligence Systems},
  volume={12},
  number={2},
  pages={1144--1161},
  year={2019},
  publisher={Atlantis Press}
}

未来的作品

分类

• 校准错误
• 科恩·卡帕
• 覆盖误差
• 骰子分数
• 铰链损失
• 杰卡德指数

聚类

• 调整后的相互信息
• 调整后的兰德分数
• Calinski 和 Harabasz 得分
• 戴维斯-布尔丹评分
• 完整性评分
• 权变矩阵
• 轮廓系数
• V-measure 分数