遗传算法优化LSSVM超参数：从网格搜索到智能调参实战

调参这件事说起来不大但真能卡住人一整天。以前我用LSSVM做回归预测手动试了几组参数都觉得不理想就扔给网格搜索去跑跑完一看最佳参数落在搜索范围的边缘——这意味着又要重设范围再来一轮。LSSVM参数优化最磨人的地方就在这模型本身不那么难难的是正则化参数 (\gamma) 和核宽度 (\sigma) 这两个数怎么定。后来我把遗传算法搬过来做参数搜索局面才算真正改观。不用提前猜参数量级跑完一组迭代就能拿到接近人工精调的效果而且整个过程可以写成一个脚本丢给服务器跑。这篇文章就把我的完整流程、代码骨架和踩过的坑写出来给同样不想耗在手动调参上的朋友一份可以直接抄作业的参考。1. 为什么LSSVM的参数这么难调1.1 正则化参数γ和核宽度σ在控制什么先说LSSVM本身。最小二乘支持向量机和标准SVM的核心差异是把原来那个不等式约束换成了等式约束同时损失函数改用平方误差。这样原本需要求解二次规划的问题退化成解一个线性方程组[ \begin{bmatrix} 0 \mathbf{1}^T \ \mathbf{1} \Omega \gamma^{-1} I \end{bmatrix} \begin{bmatrix} b \ \alpha \end{bmatrix}\begin{bmatrix} 0 \ y \end{bmatrix} ]其中 (\Omega_{ij} K(x_i, x_j))。用RBF核的时候常见的超参数就是两个正则化参数 (\gamma) 和核宽度 (\sigma)。(\gamma) 控制的是误差惩罚和模型复杂度之间的平衡。它太小模型不敢犯一点错结果就是几乎把每个训练点的噪声都学进去了它太大模型又过于谨慎拟合不足预测曲线被拉成一条很平缓的线。(\sigma) 则控制样本在特征空间中的作用半径。(\sigma) 越小每个样本只对自己附近一小块区域产生影响决策边界会弯弯绕绕模型复杂度直线上升(\sigma) 越大核函数趋近于常数样本间的差异被抹平模型被推着往线性方向走。调这两个参数的难点在于它们对模型的影响不是独立的。(\sigma) 选的不好(\gamma) 怎么补都补不回来。反过来也一样。手动试参时经常遇到的情况是(\gamma) 调好了(\sigma) 一动前面全白费。所以我一直觉得这两个参数适合交给算法去搜而不是靠人肉感觉。1.2 网格搜索在LSSVM上的三个死穴网格搜索是最直觉的方案但放到LSSVM这个场景里有三个特别要命的问题。第一个是参数范围要靠拍脑袋。你事先不知道最优 (\gamma) 是 (10^{-2}) 还是 (10^2)范围设小了最优值落在边界外面结果全是废的范围设大了网格点之间的距离太大精度又不够。很多时候工作流程就变成了跑网格、看边界、扩范围、再跑网格反复烧时间。第二个是组合数爆炸。就算把两个参数各取20个值那也是400次LSSVM训练。如果每次训练要一两秒这就是十几分钟起步样本量一上来一次训练十秒那就要等将近两个小时。更不用说参数变成3个、4个的时候。第三个是对数尺度问题。(\gamma) 和 (\sigma) 在不同量级下对模型的影响差异很大。参数从0.1调到1可能效果变化明显但从100调到101可能几乎没区别。均匀网格在大量无效区间里浪费了计算量更好的做法是log均匀采样但真要手动设计一个带尺度感知的组合搜索逻辑结构就复杂了。随机搜索能在一定程度上缓解网格搜索在高维空间中的效率问题因为它不会在没意义的区间均匀铺点。但它本质上还是在赌运气碰到目标函数形状比较尖锐的时候采样几百次可能还是离最优区域很远。这也是我后来转向遗传算法的直接原因。2. 我为什么用遗传算法而不是贝叶斯优化2.1 多种调参方案的横向对比很多人一听到自动调参第一反应是贝叶斯优化。我不否认它在小预算场景下很漂亮但实际用下来遗传算法在我的场景里更顺手。这里列一个我自己的对比供参考方案对目标函数的要求实现成本小规模问题表现并行友好度网格搜索无低依赖先验范围高随机搜索无低碰运气高贝叶斯优化通常假设连续平滑中高预算小的时候很出色中遗传算法无梯度要求中稳定略费评估次数高贝叶斯优化的核心是用高斯过程之类的代理模型去拟合目标函数然后用采集函数决定下一组参数在哪里评估。它在每轮评估都很贵、总预算只有几十次的场景下确实能把样本效率做到很高。但它的问题在于一是实现起来要处理代理模型、采集函数、超参数先验这些概念对刚开始接触自动调参的人不友好。二是当你想把核函数类型、预处理开关这类离散变量一起塞进搜索空间时贝叶斯优化需要额外的专门设计。三是并行评估不容易直接享受因为采集函数的下一步选择通常依赖前面所有评估结果。遗传算法没有这些心理负担。它不需要梯度也不需要目标函数光滑每个个体的评估互相独立随便开进程并行。最让我觉得省心的一点是它不需要你提供一个比较靠谱的初始范围。你只要给出一个量级边界比如 (\gamma,\sigma \in [10^{-3}, 10^3])剩下的搜索过程由种群进化自己去完成。这种不用动脑也能跑的特性对一个以调参为苦差事的人来说吸引力是实打实的。2.2 遗传算法的搜索逻辑遗传算法的底层逻辑很直白把一组参数当作一个个体让一群个体组成种群然后反复执行选择、交叉、变异。在这个LSSVM调参场景中一个个体的基因就是一组 (\gamma) 和 (\sigma)适应度就是这组参数在交叉验证下的表现进化就是淘汰表现差的参数组合、保留表现好的组合再通过交叉和变异产生新的参数组合。它和网格搜索最大的差别是搜索策略本身会变化。网格搜索把所有位置都当成同等重要去试探遗传算法每代都会把计算资源往当前表现好的区域倾斜同时靠变异保留一定的探索能力。和贝叶斯优化比它的优点是鲁棒目标函数长什么样都能跑缺点是评估次数多一些。但放到LSSVM调参这个问题上训练次数多几百次其实没那么可怕尤其是可以并行的时候。2.3 免拍脑袋的参数边界使用遗传算法的时候你可以把参数范围设得很宽而不像网格搜索那样担心范围太宽导致精度不够。因为遗传算法不是均匀铺点的它只在有希望的区域慢慢加密搜索。第一次跑的时候我甚至直接给了 (\gamma, \sigma \in [10^{-4}, 10^{4}])跑完发现最优区域集中在某个具体量级附近然后再缩小范围跑第二轮精搜。这种由粗到细的两阶段策略是我认为遗传算法在调参体验上最舒服的地方。3. 遗传算法优化LSSVM的手把手实操3.1 参数编码为什么必须走log空间遗传算法处理连续参数时一般有两种编码方式二进制编码和实数编码。对于两个连续参数我推荐直接用实数编码也就是把每个参数变成一个浮点数基因位。但这里有个关键细节一定要在log空间里做编码和解码。原因还是前面说的量级问题。(\gamma) 从1变成10和从10变成100对模型的影响尺度相似但在线性空间里这两段对应的数值距离完全不同。如果在原始值空间做交叉和变异算法会把绝大部分搜索精力浪费在大数值区间小数值区间几乎找不到点。而把参数取log之后再操作变异步长就有了相对意义。import numpy as np def decode(gene): gamma_log, sigma_log gene gamma 10.0 ** gamma_log sigma 10.0 ** sigma_log return gamma, sigma # 随机生成一个个体在log域内均匀采样 def create_individual(low-3.0, high3.0): return np.random.uniform(low, high, size2)这里的low和high对应的是 (\gamma) 和 (\sigma) 在 ([10^{-3}, 10^{3}]) 区间。如果你完全不清楚参数量级范围也可以再放宽。3.2 适应度函数用5折交叉验证当裁判遗传算法的适应度函数决定了一个参数组合好不好。我的做法是直接用K折交叉验证的均方误差取负数作为适应度因为遗传算法默认适应度越大越好。先给一个基于numpy的LSSVM求解器骨架避免读者卡在环境搭建上def kernel_matrix(A, B, sigma): sa np.sum(A ** 2, axis1)[:, None] sb np.sum(B ** 2, axis1)[None, :] dist2 sa sb - 2.0 * np.dot(A, B.T) return np.exp(-dist2 / (2.0 * sigma ** 2)) def lssvm_fit(X, y, gamma, sigma): n X.shape[0] K kernel_matrix(X, X, sigma) A np.zeros((n 1, n 1)) A[0, 1:] 1.0 A[1:, 0] 1.0 A[1:, 1:] K np.eye(n) / gamma rhs np.concatenate([[0.0], y]) sol np.linalg.solve(A, rhs) return sol[0], sol[1:] # b, alpha def lssvm_predict(X_train, X_test, alpha, b, sigma): Kt kernel_matrix(X_test, X_train, sigma) return np.dot(Kt, alpha) b这是一个最小可用的RBF核LSSVM回归实现。核心就是求那个 (n1) 维线性方程组数据量不大的时候直接用np.linalg.solve就行。有了求解器适应度函数就简单了from sklearn.model_selection import KFold from sklearn.metrics import mean_squared_error def fitness(gene, X, y): gamma, sigma decode(gene) kf KFold(n_splits5, shuffleTrue, random_state42) errors [] for tr_idx, va_idx in kf.split(X): X_tr, X_va X[tr_idx], X[va_idx] y_tr, y_va y[tr_idx], y[va_idx] b, alpha lssvm_fit(X_tr, y_tr, gamma, sigma) y_pred lssvm_predict(X_tr, X_va, alpha, b, sigma) errors.append(mean_squared_error(y_va, y_pred)) return -np.mean(errors)这里有两个细节必须注意。第一固定random_state让所有参数组合都在同一组数据划分下评估。如果不固定同一个参数两次评估的CV误差会差很多遗传算法的选择压力会被噪声淹没。第二交叉验证的折数我选了5折。2折可能太粗糙10折更稳定但训练次数翻倍5折在评估稳定性和计算开销之间是比较平衡的默认选择。3.3 选择、交叉、变异的实用配置遗传算法的算子设计没有标准答案但针对LSSVM这种每评估一次就要训练一次模型的场景效率很重要。我用的是锦标赛选择加算术交叉加高斯变异外加精英保留。锦标赛选择的实现非常朴素从种群中随机抽k个个体把适应度最高的那个选为父本。k一般取3这个参数太小选择压力不足太大容易让种群过早失去多样性。def tournament_select(pop, fitness_values, k3): idx np.random.choice(len(pop), sizek, replaceFalse) best idx[np.argmax(fitness_values[idx])] return pop[best]算术交叉是把两个父本做线性组合def arithmetic_crossover(p1, p2): alpha np.random.uniform() c1 alpha * p1 (1.0 - alpha) * p2 c2 alpha * p2 (1.0 - alpha) * p1 return c1, c2变异采用高斯扰动在log空间里加一个随机偏移def mutate(individual, prob0.2, step0.5, low-3.0, high3.0): ind individual.copy() for i in range(len(ind)): if np.random.rand() prob: ind[i] np.random.normal(0.0, step) ind[i] np.clip(ind[i], low, high) return ind这里变异概率0.2、步长0.5是我试下来比较稳的组合。太大容易把好个体全拆了太小后期收敛慢。精英保留是指每代直接把适应度最高的一个或两个个体复制到下一代防止好参数在交叉变异过程中被破坏。3.4 主循环、终止条件与收敛观察主循环的逻辑很固定。初始化种群后迭代执行评估、选择、交叉、变异直到达到预设代数或连续多代最优适应度没有提升。def ga_lssvm(X, y, pop_size20, max_gen30, patience5): pop np.array([create_individual() for _ in range(pop_size)]) fitness_values np.array([fitness(ind, X, y) for ind in pop]) best_fitness_history [] mean_fitness_history [] no_improve 0 best_gene pop[np.argmax(fitness_values)] best_fitness np.max(fitness_values) for gen in range(max_gen): new_pop pop[np.argsort(fitness_values)[-2:]] # 精英保留2个 while len(new_pop) pop_size: p1 tournament_select(pop, fitness_values) p2 tournament_select(pop, fitness_values) c1, c2 arithmetic_crossover(p1, p2) c1 mutate(c1) c2 mutate(c2) new_pop np.vstack([new_pop, c1, c2]) pop new_pop[:pop_size].copy() fitness_values np.array([fitness(ind, X, y) for ind in pop]) current_best np.max(fitness_values) current_mean np.mean(fitness_values) best_fitness_history.append(current_best) mean_fitness_history.append(current_mean) if current_best - best_fitness 1e-4: no_improve 1 if no_improve patience: print(f早停于第{gen 1}代) break else: best_fitness current_best best_gene pop[np.argmax(fitness_values)] no_improve 0 return best_gene, best_fitness我个人不太建议在正式对比实验里用早停因为不同方案的评价次数不统一说服力会打折扣。但在实际生产场景里早停可以省下不少无效训练。上面的patience参数设成5意思是连续5代最优适应度没有明显提升就停。4. 一次回归任务上的完整复盘4.1 实验设置与对比方案为了让大家对遗传算法的实际效果有个直观概念我说一次自己做过的室内温度预测实验。数据集大概是520条样本、12个输入特征训练集70%、测试集30%。所有实验都在同一个数据集上做特征标准化后在训练集上拟合scaler再应用到测试集。参与对比的方案有四个默认参数(\gamma 1, \sigma 1)网格搜索log域内 ([-3, 3]) 均匀取20个点两个参数组合400次训练随机搜索同样的log域内随机采样400次遗传算法种群20进化30代总共最多600次训练4.2 结果对比最终测试集上的结果如下方案训练次数5折CV RMSE测试集RMSE默认参数02.412.38网格搜索4002.032.05随机搜索4002.022.04遗传算法6001.941.96遗传算法找到的参数大约是 (\gamma \approx 32, \sigma \approx 0.72)最终测试集RMSE比默认参数下降了约18%。网格搜索在这个范围里也能用但它是在我提前把范围画对了的前提下。如果范围一开始就给得偏了网格那400次训练很可能全部浪费。而遗传算法即便范围给宽到 ([10^{-4}, 10^{4}])依然能在一代代进化之后自发收敛到最优量级附近。有意思的是遗传算法600次训练听起来很多但这600次是可以并行的。我写了个简单的多进程wrapper把20个种群的评估分摊到8个核上跑实际耗时比串行跑一个20×20网格还短。这是网格搜索很难做到的因为网格虽然也可以并行但你必须等整批结果才能知道下一步该不该收缩范围。4.3 从适应度曲线上看到的隐患我把每代的最优适应度和平均适应度都记录了下来。最明显的一点是前十代最优值从-2.3快速上升到-2.0后面二十代就只能一点点挤从-2.0磨到-1.94。这说明遗传算法找大方向很快精修慢。第二阶段缩小范围再跑一轮GA往往是值得的。但真正让我警惕的是平均适应度曲线在中段出现过一次明显回落。正常情况下随着进化进行种群整体应该在变好平均适应度即使不升也不该崩。那次回落的直接原因是精英保留的个体数量偏少而锦标赛选择抽到的父本运气不好导致新一代整体质量下降。更本质的原因是种群多样性在前期快速丢失大家都挤在一个小区域一旦那个区域本身不是最优区域后续搜索就会乏力。这个现象在后面的坑里再展开说。5. 踩坑总结与最终使用建议5.1 交叉验证的手气问题固定种子这是我最初踩得最惨的一个坑。第一次写遗传算法优化LSSVM的脚本时KFold划分没有固定随机种子。跑出来的结果是同一个基因第一次评估适应度是-2.1第二次评估变成-2.4第三次又变成-2.2。遗传算法的选择排序基本就乱了好个体和坏个体被同等对待进化完全失去了方向。固定随机种子之后数据划分对所有参数组合都一致不同个体的适应度差异才真正反映参数好坏。如果数据集本身很小、噪声又大还可以考虑把KFold的shuffleFalse或采用分层抽样进一步减少划分差异。稳定评估环境是自动调参的先决条件。5.2 别把GA的CV分数当成最终精度遗传算法在搜索过程中看了几百组参数取其中CV误差最好的一组这个最好本身就带有乐观偏差。换句话说你在搜索空间里翻了很多遍总能找到一个正好在验证折上表现好的组合但它不一定在独立数据上同样好。所以我坚持在GA结束后把找到的最优参数放到一个从未参与过任何搜索和验证的测试集上算最终指标。而且这个测试集只能用这一次。如果看了结果觉得不满意想再调必须另外划分数据不能在同一个测试集上反复做决定。这一点和做特征选择时的数据划分纪律是完全一样的。5.3 早熟问题与多样性维护遗传算法最经典的坑是早熟也就是整个种群在几代之内集中到某个局部最优附近变异步长又不够大跳不出来。我在适应度曲线里看到的平均适应度回落就是早熟的前兆。处理办法通常是两个方向。一是提高变异强度或者采用自适应变异让变异概率从早期的0.2降到后期的0.05避免后期把好参数全部破坏。二是对停滞不前的种群做重置比如连续N代最优没有提升时随机重新生成一部分个体扔进种群迫使算法重新探索。第二个方法简单有效我后来在代码里加了一个reset机制效果比单纯调变异概率更明显。5.4 什么时候其实不该用遗传算法遗传算法不是银弹。如果你的LSSVM数据集只有两三百条样本一次训练只要几毫秒那两个参数直接画个热力图甚至手动试十几组就行了没必要上GA。反过来如果样本量非常大比如上万条LSSVM每一次训练都要解一个上万阶的线性方程组一次就是几十秒甚至更久。这种情况下跑600次评估代价就有点太高了。我的建议是先用小规模子集跑一轮GA,确定参数量级再用更精细的局部搜索或少量网格在大数据上做最终精调。这样的两阶段流程兼顾了搜索能力和计算成本。最后再分享一个我常用的工作流。第一次跑GA种群20、代数20就够只要找出参数的大致量级第二次把范围收缩到第一次最优值附近 ±1 个数量级重新跑一轮拿到更精细的 (\gamma) 和 (\sigma)最后用独立的测试集确认一次最终精度。这三步走完我基本不再需要手动碰参数了。