一文搞懂机器学习任务类型与三大经典算法实战

1. 先别急着调包搞清任务类型比选算法更重要翻了很多机器学习的帖子我有个强烈的感受大多数人刚开始学的时候注意力全被算法吸引过去了——今天看到一个决策树觉得厉害明天刷到神经网络觉得更厉害赶紧去调包跑一遍跑通了就觉得自己已经入门了。但等到真正拿一个实际问题来做时反而卡住了不知道用什么算法不知道数据怎么准备甚至连我到底在解决什么问题都没想清楚。我在实际做过几个项目之后才慢慢体会到机器学习应用的第一步根本不是选算法而是先判断任务类型。任务类型定了后面所有操作——数据标注怎么做、评估指标选哪个、模型能不能上线——全都被它牵着走。1.1 机器学习任务到底分哪几类按照教科书上的分法机器学习任务通常分成四大类。我在项目里做任务拆解时一般按下面这个标准来判断任务类型目标变量特点典型问题常用算法监督学习-分类离散标签是/否、A/B/C垃圾邮件识别、图片分类KNN、逻辑回归、决策树、SVM监督学习-回归连续数值房价预测、销售额预测线性回归、岭回归、树模型无监督学习-聚类没有标签按特征分组客户分群、异常检测KMeans、DBSCAN、层次聚类无监督学习-降维没有标签压缩特征可视化、特征压缩PCA、SVD这里最需要记住的一点是分类和回归的区别只看目标变量的类型不看输入数据。同样是用一组用户画像数据如果目标是预测用户会不会流失那是分类如果目标是预测用户未来三个月会消费多少金额那就是回归。1.2 任务判断失误会带来什么结果这不是废话。我在一个风险预测相关的项目里就见过初始设定上的混淆——有人把预测风险等级做成了回归输出的连续值很难跟业务上要求的等级标签对上评估的时候也不知道该用准确率还是均方误差。最后改成分类逻辑回归一跑整个流程就顺了很多。所以拿到任何问题先问自己三个问题我需要预测的变量是离散标签还是连续数值数据有没有标签如果没有就只能在无监督方法里找方案如果有是谁来标注的、标注质量怎么样这个任务的评估标准是什么是分类准确率还是预测值和真实值之间的误差把这三个问题想明白再动手调包。这个习惯省下的时间远比你在算法里纠结选A还是选B要多得多。2. 第一个能完整跑通的应用用KNN给新电影分类现在用一个非常经典也非常简单的例子走完第一次机器学习应用的完整过程。这个例子我在很多课程作业里都见过其实是最适合初学者的第一课。2.1 我们已有的数据长什么样假设我们现在有了一批电影的数据每条记录包含两个特征——打斗镜头的数量和接吻镜头的数量——以及一个分类标签这个电影是动作片还是爱情片。比如电影打斗镜头数接吻镜头数分类电影A1051动作片电影B903动作片电影C486爱情片电影D1278爱情片现在来了一部新电影《唐人街探案》我们统计出它的打斗镜头数是85接吻镜头数是12但分类是未知的。基于已有数据怎么判断它更可能是动作片还是爱情片这个场景看着简单但它包含了机器学习应用的全部要素已标注的历史数据特征 标签一个待预测的新样本一个隐含的假设特征相似的电影分类也相似2.2 KNN的核心逻辑近朱者赤KNNK最近邻的思路非常朴素看新样本跟已有数据里哪些样本距离最近然后让最近的K个样本投票决定它的分类。这里的关键是距离的定义。通常用欧氏距离d 开根号[(x1 - x2)² (y1 - y2)²]把《唐人街探案》的数据85, 12代入跟前面四部电影逐一算距离跟电影A (105, 1) 的距离根号[(105-85)² (1-12)²] 根号[400 121] ≈ 22.8跟电影B (90, 3) 的距离根号[(90-85)² (3-12)²] 根号[25 81] ≈ 10.3跟电影C (4, 86) 的距离根号[(4-85)² (86-12)²] 根号[6561 5476] ≈ 109.7跟电影D (12, 78) 的距离根号[(12-85)² (78-12)²] 根号[5329 4356] ≈ 98.4如果取K3距离最近的三个样本是电影B、电影A、电影D其中动作片两票A和B、爱情片一票D所以《唐人街探案》被分类为动作片。这个例子很好地展示了KNN的全部要点计算距离 → 取最近K个 → 投票决定分类。没有训练过程没有参数拟合这就是KNN被称为惰性学习的原因——它把所有计算都留到了预测阶段。2.3 用Python手写一遍KNN纸上算明白了代码就非常简单。用纯Python 一点点NumPy就能实现import numpy as np # 训练数据每一行是 [打斗镜头数, 接吻镜头数] X_train np.array([ [105, 1], [90, 3], [4, 86], [12, 78] ]) # 标签 y_train np.array([动作片, 动作片, 爱情片, 爱情片]) # 新样本 new_movie np.array([85, 12]) def knn_predict(X_train, y_train, x_new, k3): # 计算所有距离 distances np.sqrt(np.sum((X_train - x_new) ** 2, axis1)) # 取最近的k个索引 nearest_indices np.argsort(distances)[:k] # 投票 nearest_labels y_train[nearest_indices] # 统计票数返回最多的标签 labels, counts np.unique(nearest_labels, return_countsTrue) return labels[np.argmax(counts)], distances[nearest_indices] pred, dists knn_predict(X_train, y_train, new_movie) print(f预测结果: {pred}) print(f最近的邻居距离: {dists})如果你用的是scikit-learn更可以一行实现from sklearn.neighbors import KNeighborsClassifier model KNeighborsClassifier(n_neighbors3) model.fit(X_train, y_train) print(model.predict([[85, 12]])) # 输出 [动作片]2.4 使用KNN时最容易忽略的坑就是热词里高频出现的那个方向——特征归一化。我在跑这个电影分类的例子时一开始没有做归一化结果还算凑合因为两个特征的量级差异还不算大。但在真实项目里特征量级经常差异悬殊比如年龄0~100和收入几千到几万这时距离计算会被量级更大的特征完全主导小量级的特征相当于被自动忽略了。解决办法是所有参与距离计算的特征都做标准化Standardization让每个特征变成均值为0、标准差为1的分布。sklearn里有现成的工具from sklearn.preprocessing import StandardScaler scaler StandardScaler() X_scaled scaler.fit_transform(X_train)另一个容易踩的坑是K值的选择。K太小比如1模型对单个样本极其敏感稍微有点噪声就误判典型的过拟合K太大比如几十上百不同类别的样本都被拉进来投票分类边界被抹平变成了欠拟合。我在实际项目里的经验是先让K等于训练集类别数的奇数倍左右然后用交叉验证去调而不是拍脑袋定。3. 线性回归从拟合一条线到理解最小二乘KNN处理的是分类问题。现在换到回归——预测连续数值。线性回归是回归家族的地基后面所有的正则化回归、多项式回归、甚至树模型里的很多思想都能追溯到线性回归的假设和求解逻辑。3.1 线性回归在解决什么问题假设你已经有了若干条数据每条数据有一组特征x和一个连续的目标值y。线性回归做的事情就是找一组权重使得y ≈ w₁x₁ w₂x₂ ... wₙxₙ b这个式子看起来简单但背后蕴含了一个非常关键的假设目标值和特征之间是线性关系。换句话说特征每变化一个单位目标值就固定地变化w个单位不管特征当前的值是多少。这个线性假设在真实场景里很少严格成立。房价预测就是一个典型的例子——面积对房价的影响在小户型和大平层两个区间里完全不是同一个斜率。所以实际应用中线性回归经常要做特征变换加平方项、交互项、取对数等把非线性关系掰成线性关系再拟合。3.2 最小二乘法怎么判断拟合得好拟合得好不好最直接的定义是所有样本的预测值和真实值之间差得越小越好。把每个样本的误差平方后加起来得到损失函数L(w) Σ(yᵢ - wᵀxᵢ)²为什么要用平方而不直接用绝对值两个原因。第一平方函数处处可导方便用导数求极值第二平方对大的误差惩罚更重让模型不愿意在任何单一样本上犯特别大的错误。最小二乘的名字来源就是求一组w让这个平方误差和最小。如果数据量不大、维度不高可以直接用正规方程解析求解# w (XᵀX)⁻¹ Xᵀy w np.linalg.inv(X.T X) X.T y当特征维度很高或者数据量很大的时候求逆矩阵的计算成本太高就要用梯度下降来迭代逼近最优解。3.3 梯度下降一步步往山下走梯度下降的思想可以用下山来类比你站在山上某个位置环顾四周找到最陡的下降方向跨一步然后在新位置重复这个过程直到走到山谷。数学上每一步的更新规则是w w - 学习率 × 梯度学习率是这一步的步长。这个参数很关键——调太大可能一步跨过最低点在两边来回震荡不收敛调太小训练时间被无限拉长。我在初学的时候踩过一个很典型的坑把学习率设成0.5发现损失函数一路飙升后来才明白那是步子太大了改成0.01才慢慢收敛。下面是梯度下降拟合线性回归的极简实现import numpy as np # 造一点数据 X np.random.rand(100, 1) * 10 y 2.5 * X[:, 0] 1.0 np.random.randn(100) * 0.5 # 加上偏置项 X_b np.c_[np.ones((100, 1)), X] # 梯度下降 learning_rate 0.01 n_iterations 1000 w np.random.randn(2) for _ in range(n_iterations): gradient 2 / 100 * X_b.T (X_b w - y) w - learning_rate * gradient print(w) # 接近 [1.0, 2.5]3.4 用sklearn实现并评估实际项目里很少手写这个循环直接用sklearnfrom sklearn.linear_model import LinearRegression from sklearn.metrics import mean_squared_error, r2_score model LinearRegression() model.fit(X_train, y_train) y_pred model.predict(X_test) mse mean_squared_error(y_test, y_pred) r2 r2_score(y_test, y_pred)这里有两个评估指标需要区分MSE均方误差衡量的是误差的绝对大小但它受目标值量纲影响不太好横向比较R²决定系数是一个相对指标表示模型解释了目标值多少比例的方差通常在0到1之间越接近1越好。我习惯两个一起看R²看整体拟合度MSE看实际误差水平。还有一点R²可以是负数。当模型拟合得比直接用平均值预测还差时R²就变负了。这种情况出现大概率是你模型选错了或者数据预处理出了大问题。4. 逻辑回归分类任务里最稳的起点在分类任务里逻辑回归是我在项目里最常用、也最推荐新手优先尝试的模型。原因很简单训练快、可解释性好、调参空间少、泛化表现往往不差。很多更花哨的模型在真实数据上不一定打得过它。4.1 为什么线性回归不能直接做分类有人会想既然分类就是输出0/1那能不能直接拿线性回归去拟合一个0到1之间的值然后大于0.5算类别1小于0.5算类别0问题在于线性回归的输出范围没有限制完全可能输出-5或者10这样的值。一个极端的样本就能把整条拟合线拉偏导致分类边界完全错位。逻辑回归的解决思路很聪明在线性组合外面套一个Sigmoid函数把任意实数值压缩到0到1之间变成一个概率p 1 / (1 e^(-(wᵀx b)))这个函数的图像是一条平滑的S形曲线。当输入是0时输出是0.5输入越大输出越接近1输入越小输出越接近0。套上这个函数之后线性回归的预测目标值就变成了预测正类的概率。4.2 损失函数从MSE换成交叉熵逻辑回归不能用MSE当损失函数了原因跟Sigmoid函数的形状有关在概率接近0或1时MSE的梯度会变得非常小训练收敛极慢。逻辑回归用的是交叉熵损失L(w) -[y·log(p) (1-y)·log(1-p)]这个函数的神奇之处在于当真实类别是1而预测概率p很小时损失趋近于无穷大预测概率接近1时损失趋近于0。也就是说它对置信但错误和不自信但正确都给出了合理的惩罚。用sklearn实现逻辑回归几乎和线性回归一样简单from sklearn.linear_model import LogisticRegression model LogisticRegression() model.fit(X_train, y_train) y_pred model.predict(X_test) y_proba model.predict_proba(X_test) # 每个类别的概率4.3 决策边界是线性的但输入特征可以不是逻辑回归的一个常见误解是它只能处理线性可分的数据。其实逻辑回归拟合的是一个线性决策边界但通过对特征做变换多项式特征、交互特征边界在原始空间可以是非线性的。例如在二维平面上如果直接用原始特征训练决策边界是一条直线但如果加上x₁²、x₂²、x₁x₂这些多项式特征逻辑回归能拟合出圆形或椭圆形的边界。原理仍然是线性的只是线性发生在特征空间里。这给了我们一个很实用的项目策略先用逻辑回归加原始特征快速跑通一个baseline再逐步加特征工程看效果是否提升。如果加了多项式特征后提升明显说明数据确实存在非线性关系如果提升很小可能问题出在数据的其他环节比如特征选择或样本质量。4.4 多分类OvR与Softmax逻辑回归本身是二分类的但处理多分类问题时有两种扩展方式OvROne-vs-Rest训练N个二分类器每个分类器负责区分第i类和其他所有类最后取概率最大的那个作为预测结果。sklearn默认用这种方式。Softmax回归直接让模型输出所有类别的概率分布所有类别概率之和为1。这种方式适合类别之间互斥的场景。我把两种都试过在样本量不大的情况下OvR实现简单且结果稳定在类别多、样本也多的场景Softmax的训练会更容易收敛。5. 一个完整应用流程从原始数据到能用的模型前面几节都是切开了讲单个算法。但真实项目里算法只是整条流水线的一小截。我整理了一下自己常用的标准流程按顺序每一步都会踩到不同的坑。5.1 流程总览一个完整的机器学习应用项目通常走这几步业务问题定义 → 明确预测目标判断任务类型数据收集 → 从数据库、日志、文件等渠道汇总数据数据清洗 → 处理缺失值、异常值、重复值特征工程 → 构造新特征、编码分类变量、特征缩放划分数据集 → 训练集 / 验证集 / 测试集模型训练 → 选baseline模型、调参、交叉验证模型评估 → 用测试集评估最终模型模型部署 → 导出模型、写接口、监控每一步都会消耗时间但很多人把80%的精力花在了第6步调参上却忽略了前四步才是决定模型上限的地方。5.2 数据清洗的几个关键点缺失值处理如果只是少数样本缺失可以直接删除如果某一列缺失比例超过30%你要慎重考虑这列特征还有没有保留价值。填充方式均值、中位数、众数、前向填充要根据业务含义来选不能无脑均值填充。异常值处理可以用箱线图或者百分位数来识别离群点。但异常值不等于错误值——风控建模里异常值恰恰是你要预测的对象。我在实际项目里踩过这个坑把异常值粗暴删掉之后模型的测试指标反而变差了因为真实场景里异常值就是会频繁出现。重复值检查是否有完全相同的样本行有就删掉。另外注意几乎重复——比如用户ID不同但其他特征完全一样的数据可能是系统重复采集业务上要想清楚怎么处理。5.3 划分数据集训练集、验证集、测试集各司其职很多初学者只分训练集和测试集这是不够的。当你反复用测试集来调整模型参数时测试集的信息就已经泄露到你的决策里了最终评估结果会偏乐观。我的习惯是先分出一个真正不动的测试集通常20%剩下80%再分训练集和验证集。验证集用来调参、评估多个候选模型测试集只在最后用一次。如果数据量比较少可以改用交叉验证from sklearn.model_selection import cross_val_score scores cross_val_score(model, X_train, y_train, cv5) print(scores.mean(), scores.std())5折交叉验证的结果比单次随机划分靠谱得多它能告诉你模型在不同数据子集上的稳定性。5.4 模型评估指标别选错了分类问题最常用的指标是准确率但准确率在类别不平衡的数据上会严重误导人。比如异常检测场景里99%是正常样本、1%是异常样本模型什么都不做、全部预测为正常准确率也高达99%但这完全不是一个能用的模型。这时候要看精确率、召回率、F1精确率预测为异常的那些样本里有多少真是异常。高精确率意味着你很少误报。召回率真实异常样本里有多少被找出来了。高召回率意味着你很少漏报。F1精确率和召回率的调和平均在两者之间取平衡。精确率和召回率往往是互相制约的。把阈值调高模型更谨慎精确率升上去了但召回率降下来阈值调低召回率升上去但误报变多。具体怎么取舍完全取决于业务场景。风险预测场景宁可误报也不能漏报一个高风险案例营销推送场景则相反宁可漏掉一些潜在用户也不能频繁打扰。回归问题的评估指标就是上一节说的MSE、MAE平均绝对误差和R²同样要根据业务判断哪个更合适。比如销售额预测你更关心预测值的平均误差大小就多看MAE如果你不能接受任何一个样本的极端误差MSE更敏感。5.5 模型部署前的最后检查模型在Jupyter里跑得漂亮跟真正能上线用是两回事。我总结过几个上线前必须检查的点特征对齐训练时的特征列包括顺序必须和上线时的输入特征完全一致。漏了一个特征模型就会报错或静默输出错误结果。数据预处理逻辑同步归一化、缺失值填充这些都需要在预测接口里做而且要跟训练时保持一致。建议用sklearn的Pipeline把所有步骤打包在一起避免训练时做了一次标准化、上线时忘了这种低级错误。from sklearn.pipeline import Pipeline pipe Pipeline([ (scaler, StandardScaler()), (model, LogisticRegression()) ]) pipe.fit(X_train, y_train)模型版本管理训练出来的模型文件pickle或onnx格式要有版本号要能追溯训练数据是哪一版、参数是什么、精度是多少。没有版本管理出了问题你根本没法回滚。6. 应用笔记里最值得记下来的几个经验6.1 数据泄露最隐蔽也最致命有一次我在做分类模型训练集上准确率高达98%心里还挺高兴。结果拿到验证集上一测准确率只有60%差点以为自己代码写错了。排查了很久发现原来是数据清洗阶段用了整个数据集的均值和标准差去做标准化——先用全量数据fit了scaler再切分训练集和测试集这不经意间把测试集的信息泄露给了训练过程。正确的做法是先切分数据集再在训练集上fit预处理器然后用同一个预处理器去transform验证集和测试集。sklearn Pipeline在这里非常有价值它天然保证了每一步都只在训练数据上拟合。这个坑非常隐蔽因为代码不报错、结果也不会离谱到你立刻发现但指标会虚高得让人产生错觉。6.2 量纲问题不止影响KNN很多人以为特征缩放只是为了KNN这种基于距离的算法。实际上逻辑回归和线性回归这类模型如果特征间量纲差异特别大梯度下降的收敛速度会变得很慢而且正则化项的惩罚效果会被量纲带偏——一个单位尺度大的特征可能被加权得更严重纯粹因为它的数值大而不是因为它更重要。我现在的习惯是任何模型除了决策树和随机森林对特征缩放不敏感一律先做标准化或者归一化再训练。这个习惯帮我在项目里省了不少调参时间。6.3 不要迷信复杂模型刚学机器学习的人很容易被复杂厉害的直觉带偏。真实项目里我在很多场景下都是先用逻辑回归或者线性回归跑出一个baseline再去尝试更复杂的模型。如果复杂模型只在训练集上表现好、在验证集上提升有限大概率是过拟合了而不是模型不够强。吴恩达课程里有句话我印象很深一个简单的模型配合好的特征工程往往比一个复杂的模型配合原始特征更实用。我在实践里越来越认同这个判断。特征工程需要业务理解模型调参更多是碰运气把精力放在特征上回报率往往更高。6.4 记录实验每次改动都留下痕迹最后想分享一个习惯给每次实验留记录。我用一个简单的表格记录模型名称、特征版本、超参数、训练集指标、验证集指标、备注。看起来很低级但当你连续做了几十次实验之后没有这个表格你会发现自己连上次那个效果很好的实验到底用了什么参数都想不起来。这种记录习惯比任何自动化的实验管理工具都先一步起作用。工具可以后面再上记录的习惯越早养成越好。我在这几个实际项目里踩过的坑、走过的弯路其实就是机器学习应用从会调用接口到能解决实际问题之间的距离。希望这篇笔记能帮你少走一段。