联合架构和超参数搜索的第一个代理基准集合。
项目描述
JAHS-Bench-201
联合架构和超参数搜索 (JAHS) 的第一个替代基准集合，旨在支持和促进对多目标、成本感知和（多）多保真优化算法的研究。
安装
使用点子
pip install git+https://github.com/automl/jahs_bench_201.git
或者，您可以提前下载使用代理基准所需的数据
python -m jahs_bench.download --target surrogates
要测试安装是否成功，例如，您可以运行一个最小示例
python -m jahs_bench_examples.minimal
这应该随机采样配置，并显示采样配置和查询该配置的代理的结果。
使用基准
创建配置
我们的联合架构和超参数 (JAHS) 空间中的配置表示为字典，例如：
config = {
'Optimizer': 'SGD',
'LearningRate': 0.1,
'WeightDecay': 5e-05,
'Activation': 'Mish',
'TrivialAugment': False,
'Op1': 4,
'Op2': 1,
'Op3': 2,
'Op4': 0,
'Op5': 2,
'Op6': 1,
'N': 5,
'W': 16,
'Resolution': 1.0,
}
有关搜索空间和配置的完整描述，请参阅我们的文档。
评估配置
import jahs_bench
benchmark = jahs_bench.Benchmark(task="cifar10", download=True)
# Query a random configuration
config = benchmark.sample_config()
results = benchmark(config, nepochs=200)
# Display the outputs
print(f"Config: {config}") # A dict
print(f"Result: {results}") # A dict
更多评估选项
我们的基准测试的 API 使用户可以查询代理模型（默认）或性能数据表，或者使用与我们的基准测试相同的管道从头开始训练我们的搜索空间中的配置。但是，用户应该注意，后一种功能需要安装jahs_bench_201可选data_creation组件及其相关依赖项。相关数据可以通过我们的 API 自动下载。有关详细信息，请参阅我们的文档。
基准数据
我们提供了用于训练我们的代理模型的性能数据集的文档以及关于我们的代理模型的更多信息。
实验和评估协议
排行榜
我们维护几个优化任务和算法框架的排行榜。
下载文件
下载适用于您平台的文件。如果您不确定要选择哪个，请了解有关安装包的更多信息。
源分布
jahs_bench_201-0.1.0.tar.gz
（155.3 kB
查看哈希）
内置分布
jahs_bench_201-0.1.0-py3-none-any.whl
（184.6 kB
查看哈希）
关
jahs_bench_201-0.1.0.tar.gz的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | ae35958290e3cd0272afa2de21ca7ce0229cc71b5c750986c3586067361d055e |
|
| MD5 | 83138605f235a55c15aafd767320b3b9 |
|
| 布莱克2-256 | 85d416ad02ba94945a4ed6bda8a712ba64dd33515b4872d944bf8fcf2fd02829 |
关
jahs_bench_201-0.1.0 -py3-none-any.whl 的哈希值
| 算法 | 哈希摘要 | |
|---|---|---|
| SHA256 | e68cbd63055125732d2c3a3295fcca75c00aa43bec0196e00f9db09488d54788 |
|
| MD5 | 4bc5b6c2357f2ff9659a4b0a9ecb8998 |
|
| 布莱克2-256 | 9a996e81997025525008c20174272eae457db55d646e11630c2246b3ac317027 |