如何为 HpBandSter 挑选 Budgets？多保真度超参数优化预算设置最佳实践

如何为 HpBandSter 挑选 Budgets多保真度超参数优化预算设置最佳实践【免费下载链接】HpBandStera distributed Hyperband implementation on Steroids项目地址: https://gitcode.com/gh_mirrors/hp/HpBandSterHpBandSter 是一个功能强大的分布式 Hyperband 实现用于多保真度超参数优化Hyperparameter Optimization。在它的整个工作流程中最容易被新手忽视、却直接决定优化成败的一步就是为优化器挑选合适的Budgets预算——也就是min_budget、max_budget和eta三个参数。本文将带你快速掌握多保真度超参数优化中预算设置的最佳实践。一、为什么 Budgets 决定优化效果HpBandSter 的核心思想是先小后大先用很小的预算比如只训练 1 个 epoch快速评估一批配置淘汰掉表现差的再让幸存者在更大的预算下继续训练。这里的预算含义完全由你的问题决定神经网络训练epoch 数数据驱动的模型训练数据点数量交叉验证fold 数量HpBandSter 通过min_budget和max_budget两个参数确定预算范围并通过eta控制预算之间如何分布见 hpbandster/optimizers/hyperband.py 中的预算计算逻辑。三个关键参数速览参数默认值含义min_budget0.01最小预算必须为正数max_budget1最大预算必须大于min_budgeteta3每一轮淘汰比例只保留 1/eta 的配置晋级以官方示例 example_1_local_sequential.py 为例min_budget9、max_budget243、eta3时HpBandSter 会自动生成几何级数分布的预算序列9 → 27 → 81 → 243也就是说每一轮成功晋级Successive Halving的配置都会在预算翻 3 倍的情况下继续评估直到达到最大预算为止淘汰逻辑见 hpbandster/optimizers/iterations/successivehalving.py。二、官方推荐的预算挑选四步法HpBandSter 官方文档在 docs/source/best_practices.rst 中给出了非常实用的四步工作流第 1 步简化搜索空间如果可能先把搜索空间压缩到10 个维度以内。维度越高预算间的相关性越难维持优化也更难收敛。第 2 步用合理的预算跑一次短程优化max_budget不必是最终目标的完整规模但必须大到足以代表真实问题min_budget则应尽可能小但仍具信息量——即小预算下的性能要能大致预测大预算下的表现。第 3 步分析跨预算排名相关性 这是整个流程中最关键的一步。运行结束后用hpbandster.visualization中的correlation_across_budgets函数位于 hpbandster/visualization.py绘制各预算间的 Spearman 排名相关系数判断标准如果相邻预算之间的相关系数 0.2说明小预算下的结果已经失真Hyperband/BOHB 很难在这种预算设置下取得好效果。此时有两个调整方向调大min_budget让小预算更有信息量调小eta如 3 → 2缩小相邻预算之间的跨度让每一步看得更清楚。第 4 步循环迭代重复第 2、3 步直到优化曲线稳步下降为止。理想情况下优化器应能在线自动调整预算目前 HpBandSter 还在推进这一方向的扩展因此手动分析是当前的最佳实践。通过losses_over_time函数你还可以直观看到不同预算下的损失随时间的变化观察优化是否在正常推进三、常见问题预算设置不对有什么表现症状 1小预算下损失忽高忽低排名毫无规律→ 排名相关系数太低min_budget太小或eta太大。症状 2优化卡住很久没进展→ 先用DEBUG日志级别跑一个最小预算的短程任务排除 Worker 返回值的低级错误再检查预算设置。症状 3BOHB 长时间找不到更优解→ 可适当调整模型探索参数如减小num_samples、增大top_n_percent、增大min_bandwidth但首先要确认预算本身设置合理。四、快速上手一个最小可运行的预算配置bohb BOHB(configspacew.get_configspace(), run_idexample1, nameserver127.0.0.1, min_budget9, max_budget243) res bohb.run(n_iterations4)运行后务必做三件事用result.get_incumbent_id()查看当前最优配置用correlation_across_budgets检查排名相关性是否 0.2参考 example_6 分析示例 的完整分析流程也可以试用交互式绘图查看每个配置在不同预算下的表现五、总结建议说明min_budget小但有信息量太小会导致排名相关性崩溃max_budget足以代表真实问题不必是最终目标规模默认eta3相关性差时降到 2缩小预算跨度每次跑短程实验后必查排名相关性阈值参考 0.2搜索空间尽量控制在 10 维以内维度越高越难优化记住一句话多保真度超参数优化中预算设置是问题的一部分而不是配置项的一部分。先用小实验验证预算间的相关性再放心启动大规模优化——这是 HpBandSter 预算设置的最佳实践核心。【免费下载链接】HpBandStera distributed Hyperband implementation on Steroids项目地址: https://gitcode.com/gh_mirrors/hp/HpBandSter创作声明：本文部分内容由AI辅助生成（AIGC），仅供参考