nestedhyperline 0.0.6

贝叶斯优化线性正则化的嵌套交叉验证

描述

一个 Python 实现，它统一了嵌套 K 折交叉验证、贝叶斯超参数优化和线性正则化。专为中小型数据集的快速原型设计（可在内存中操作）。通过抽象出繁琐的超参数调优和实现细节来快速获得高质量的预测结果，从而提高可用性和实现速度。贝叶斯超参数优化利用Hyperopt包中的 Tree Parzen 估计 (TPE) 。线性正则化可以通过三种方式之一进行。在Ridge、Lasso或Elastic-Net之间进行选择。在线性回归适用的情况下很有用。

特征

1. 所有线性正则化方法的语法一致。
2. 支持的线性正则化方法：Ridge、Lasso、Elastic-Net。
3. 返回包含性能指标和绘图的自定义对象。
4. 为可读性、可维护性和未来改进而开发。

要求

1. 蟒蛇 3
2. 数字货币
3. 熊猫
4. MatPlotLib
5. 海博恩
6. Scikit-学习
7. 超光速

安装

## install pypi release
pip install nestedhyperline

## install developer version
pip install git+https://github.com/nickkunz/nestedhyperline.git

用法

## load libraries
from nestedhyperline import regressors
from sklearn import datasets
import pandas

## load data
housing_sklearn = datasets.load_boston()
housing = pandas.DataFrame(housing_sklearn.data, columns = housing_sklearn.feature_names)
housing['target'] = pandas.Series(housing_sklearn.target)

## conduct lasso regression
results = regressors.lasso_ncv_regressor(
    data = housing,
    y = 'target',
    loss = 'mse',
    k_inner = 3,
    k_outer = 3,
    n_evals = 300
)

## preview performance
results.error_mean()

## preview plots
results.plot_error_mean()
results.plot_lambda()
results.plot_regular()
results.plot_coef()

例子

https://github.com/nickkunz/nestedhyperline/blob/master/examples/nestedhyperline_example_ridge.ipynb

执照

© Nick Kunz，2019。根据通用公共许可证 v3.0 (GPLv3) 获得许可。

贡献

NestedHyperLine 对改进和维护开放。您的帮助很有价值，可以使每个人的包裹更好。

参考

Bergstra, J.、Bardenet, R.、Bengio, Y.、Kegl, B. (2011)。超参数优化算法。https://papers.nips.cc/paper/4443-algorithms-for-hyper-parameter-optimization.pdf。

Bergstra, J., Yamins, D., Cox, DD (2013)。建立模型搜索科学：视觉架构的数百维超参数优化。第 30 届国际机器学习国际会议论文集。28:I115-I123。http://proceedings.mlr.press/v28/bergstra13.pdf。

Hoerl, Arthur E., Kennard, Robert W. (1970)。岭回归：非正交问题的有偏估计。美国统计协会和美国质量稳定协会。12（1）：55-67。https://doi.org/10.1080/00401706.1970.10488634。

Tibshirani, R. (1996)。回归收缩和通过套索选择。皇家统计学会杂志：B 系列（方法论）。58（1）：267-288。https://doi.org/10.1111/j.2517-6161.1996.tb02080.x。

Zou, H., Hastie, T. (2005)。通过弹性网络进行正则化和变量选择。皇家统计学会杂志：B 系列（统计方法）。67：301-320。https://doi.org/10.1111/j.1467-9868.2005.00503.x。