pyod 1.0.5

安装

建议使用pip或conda进行安装。请确保 已安装最新版本，因为 PyOD 经常更新：

pip install pyod            # normal install
pip install --upgrade pyod  # or update if needed

conda install -c conda-forge pyod

或者，您可以克隆并运行 setup.py 文件：

git clone https://github.com/yzhao062/pyod.git
cd pyod
pip install .

所需的依赖项：

• Python 3.6+

• 工作库

• matplotlib

• numpy>=1.19

• 数>=0.51

• scipy>=1.5.1

• scikit_learn>=0.20.0

• 六

• 统计模型

可选依赖项（请参阅下面的详细信息）：

• 组合（可选，models/combination.py 和 FeatureBagging 需要）

• keras/tensorflow（可选，AutoEncoder 和其他深度学习模型需要）

• pandas（可选，运行基准测试所需）

• suod（可选，运行 SUOD 模型所需）

• xgboost（可选，XGBOD 需要）

警告：PyOD 有多个基于神经网络的模型，例如 AutoEncoders，它们在 Tensorflow 和 PyTorch 中都实现了。但是，PyOD 不会为您安装这些深度学习库。这降低了干扰本地副本的风险。如果您想使用基于神经网络的模型，请确保已安装这些深度学习库。提供了说明：神经网络常见问题解答。同样，依赖于xgboost的模型，例如 XGBOD，默认情况下不会强制安装 xgboost。

API 备忘单和参考

完整的 API 参考：（https://pyod.readthedocs.io/en/latest/pyod.html）。所有检测器的 API 备忘单：

• fit(X)：拟合检测器。y 在无监督方法中被忽略。

• decision_function(X)：使用拟合检测器预测 X 的原始异常分数。

• predict(X)：预测特定样本是否为异常值或不使用拟合检测器。

• predict_proba(X)：使用拟合检测器预测样本异常值的概率。

• predict_confidence(X)：预测模型的样本置信度（在 predict 和 predict_proba 中可用）[ 31 ]。

拟合模型的关键属性：

• decision_scores_：训练数据的异常分数。越高越不正常。异常值往往具有更高的分数。

• labels_：训练数据的二进制标签。0 代表异常值，1 代表异常值/异常值。

ADBench 基准

我们刚刚发布了 36 页，最全面的异常检测基准论文 [ 14 ]。完全开源的 ADBench在 55 个基准数据集上比较了 30 种异常检测算法。

ADBench的组织结构如下：

下面提供了所选模型的比较（图， compare_all_models.py， 交互式 Jupyter Notebooks）。对于 Jupyter Notebooks，请导航到“/notebooks/Compare All Models.ipynb”。

模型保存和加载

PyOD 在模型持久性方面采用了与 sklearn 类似的方法。有关说明，请参阅模型持久性。

简而言之，我们建议使用 joblib 或 pickle 来保存和加载 PyOD 模型。有关示例，请参见“examples/save_load_model_example.py”。简而言之，它很简单，如下所示：

from joblib import dump, load

# save the model
dump(clf, 'clf.joblib')
# load the model
clf = load('clf.joblib')

众所周知，保存神经网络模型存在挑战。检查#328 和#88 以获取临时解决方法。

SUOD 快速列车

快速训练和预测：通过利用 SUOD 框架[ 45 ]，可以在 PyOD 中使用大量检测模型进行训练和预测。请参阅 SUOD 纸 和 SUOD 示例。

from pyod.models.suod import SUOD

# initialized a group of outlier detectors for acceleration
detector_list = [LOF(n_neighbors=15), LOF(n_neighbors=20),
                 LOF(n_neighbors=25), LOF(n_neighbors=35),
                 COPOD(), IForest(n_estimators=100),
                 IForest(n_estimators=200)]

# decide the number of parallel process, and the combination method
# then clf can be used as any outlier detection model
clf = SUOD(base_estimators=detector_list, n_jobs=2, combination='average',
           verbose=False)

实现的算法

PyOD 工具包由三个主要功能组组成：

(i) 个体检测算法：

(ii) 异常值集成和异常值检测器组合框架：

(iii) 实用功能：

异常值检测快速入门

PyOD 通过一些特色帖子和教程得到了机器学习社区的认可。

Analytics Vidhya：使用 PyOD 库在 Python 中学习异常值检测的精彩教程

KDnuggets : Intuitive Visualization of Outlier Detection Methods , An Overview of Outlier Detection Methods from PyOD

迈向数据科学：傻瓜异常检测

计算机视觉新闻（2019 年 3 月）：用于异常值检测的 Python 开源工具箱

“examples/knn_example.py” 演示了使用kNN检测器的基本API。请注意，所有其他算法的 API 都是一致/相似的。

运行示例的更详细说明可以在示例目录中找到。

1. 初始化一个 kNN 检测器，拟合模型并进行预测。

   from pyod.models.knn import KNN   # kNN detector
   
   # train kNN detector
   clf_name = 'KNN'
   clf = KNN()
   clf.fit(X_train)
   
   # get the prediction label and outlier scores of the training data
   y_train_pred = clf.labels_  # binary labels (0: inliers, 1: outliers)
   y_train_scores = clf.decision_scores_  # raw outlier scores
   
   # get the prediction on the test data
   y_test_pred = clf.predict(X_test)  # outlier labels (0 or 1)
   y_test_scores = clf.decision_function(X_test)  # outlier scores
   
   # it is possible to get the prediction confidence as well
   y_test_pred, y_test_pred_confidence = clf.predict(X_test, return_confidence=True)  # outlier labels (0 or 1) and confidence in the range of [0,1]

2. 通过 ROC 和 Precision @ Rank n (p@n) 评估预测。

   from pyod.utils.data import evaluate_print
   
   # evaluate and print the results
   print("\nOn Training Data:")
   evaluate_print(clf_name, y_train, y_train_scores)
   print("\nOn Test Data:")
   evaluate_print(clf_name, y_test, y_test_scores)

3. 查看示例输出和可视化。

   On Training Data:
   KNN ROC:1.0, precision @ rank n:1.0
   
   On Test Data:
   KNN ROC:0.9989, precision @ rank n:0.9

   visualize(clf_name, X_train, y_train, X_test, y_test, y_train_pred,
       y_test_pred, show_figure=True, save_figure=False)

可视化（knn_figure）：

如何贡献

欢迎您为这个令人兴奋的项目做出贡献：

• 请首先检查问题列表中的“需要帮助”标签并评论您感兴趣的问题。我们会将问题分配给您。

• 分叉主分支并添加您的改进/修改/修复。

• 向开发分支创建拉取请求并遵循拉取请求模板PR 模板

• 将触发自动测试。确保通过所有测试。请确保所有添加的模块都带有适当的测试功能。

为确保代码具有相同的样式和标准，请参考 abod.py、hbos.py 或 feature_bagging.py。

也欢迎您通过打开问题或发送电子邮件至zhaoy @ cmu来分享您的想法。教育:)

纳入标准

与scikit-learn类似，我们主要考虑完善的包含算法。经验法则是自出版以来至少两年，被引用超过 50 次，并且有用。

However, we encourage the author(s) of newly proposed models to share and add your implementation into PyOD for boosting ML accessibility and reproducibility. This exception only applies if you could commit to the maintenance of your model for at least two year period.

Reference