简介这份资源是电子科技大学机器学习课程的大作业完整资料面向正在修读机器学习、人工智能相关课程的高校学生以及希望系统梳理算法理论与工程实践的自学者。内容围绕监督学习、无监督学习、半监督学习与强化学习等范式展开涵盖SVM、K-means等典型算法的原理对比、适用场景分析以及数据预处理、特征选择、模型训练与验证的完整流程。配套仿真代码基于Python编写调用NumPy、Pandas、Matplotlib、Seaborn与Scikit-learn等库注释详尽便于对照理解每一步实现逻辑课程报告与PPT则整合了项目各阶段的关键信息与分析结论。资源以rar压缩包形式提供整体约929KB文件类型明细上游暂未给出。目前已有2857人浏览学习适合作为课程作业参考、算法复习与项目实践模板使用。1. 从一道“送分题”变成“送命题”说起电子科技大学机器学习大作业每年都有不少人栽在同一个坑里把大作业当成“调包作业”sklearn 三行代码跑出个 0.9 的准确率就交差结果答辩时被问“你的特征维度是多少、为什么选这个核函数、正则项加在哪”当场哑火。这场大作业考的不是你会不会fit和predict而是你能不能把数据、模型、评估三条线讲清楚能不能解释每一个超参数背后的取舍。拿分逻辑很直接代码能跑是及格线实验设计合理是良好线能把“为什么这样选”讲明白才是优秀线。适合正在准备大作业、课程设计或相关面试的人尤其是那种“跑通了但说不清”的状态——这篇笔记就是帮你把说不清的地方一条条补上。2. 考点分布大作业到底在考哪几块2.1 数据预处理与特征工程是隐形重灾区很多人一上来就train_test_split然后直接喂给模型缺失值用 0 填、类别特征用标签编码最后抱怨模型效果差。大作业的评分表里数据预处理通常占 20% 到 30%而且是最容易拉开差距的地方。常考的预处理动作包括缺失值处理均值/中位数/众数填充、KNN 填充、直接删除的适用场景、异常值检测IQR、Z-score、孤立森林、类别特征编码独热编码与标签编码的取舍、目标编码的泄漏风险、数值特征标准化StandardScaler 与 MinMaxScaler 对树模型和线性模型的不同影响。这里有一个高频面试题“为什么树模型不需要标准化而 SVM 和逻辑回归需要”答题思路分两层第一层说清楚树模型分裂时只看特征值的相对顺序单调变换不改变分裂点第二层说清楚 SVM 和逻辑回归依赖距离或梯度量纲差异会让大数值特征主导更新方向。面试官最想听的是你知不知道“标准化不是万能步骤要看模型假设”。再比如特征选择大作业里常见三种做法过滤法方差阈值、卡方检验、互信息、包裹法递归特征消除 RFE、嵌入法L1 正则、树模型特征重要性。这里容易翻车的是用 RFE 在测试集上选特征导致数据泄漏。正确做法是在训练集上做特征选择再应用到验证集和测试集。这类题通常这么答“我先在训练折内做特征筛选把筛选器放进 Pipeline避免验证折的信息泄露。”2.2 模型选择与调参别只报一个准确率大作业通常要求对比至少两到三个模型。常见组合是逻辑回归 / 决策树 / 随机森林 / SVM / 朴素贝叶斯 / KNN / 梯度提升树。评分时看的是你有没有解释“为什么这个模型在这个数据集上表现更好”。比如随机森林在中小规模表格数据上通常稳但遇到高维稀疏文本数据线性模型加 L2 正则往往更快更准。SVM 在小样本非线性数据上用 RBF 核很漂亮但参数C和gamma一改结果天差地别。调参部分网格搜索和随机搜索是标配但很多人只贴一个GridSearchCV的代码不解释搜索空间怎么定。高频考点是“网格搜索和随机搜索怎么选”答题思路参数维度低、每个维度取值少时用网格搜索参数维度高、训练一次成本大时用随机搜索因为随机搜索在同样迭代次数下能覆盖更大的参数空间。面试官还会追问“为什么不用贝叶斯优化” 你可以答“贝叶斯优化适合目标函数评估代价极高的场景大作业数据量不大随机搜索已经够用而且实现简单、可复现。”交叉验证也是必考。cross_val_score的cv参数怎么设、StratifiedKFold和KFold的区别、时间序列为什么要用TimeSeriesSplit这些都是能问倒一片人的点。这里给一个可复现的调参代码片段from sklearn.model_selection import RandomizedSearchCV from sklearn.ensemble import RandomForestClassifier from scipy.stats import randint # 定义参数分布而不是固定网格 param_dist { n_estimators: randint(50, 300), max_depth: [None, 5, 10, 20], min_samples_split: randint(2, 10), min_samples_leaf: randint(1, 5) } # n_iter30 表示随机采样 30 组参数cv5 表示 5 折交叉验证 search RandomizedSearchCV( RandomForestClassifier(random_state42), param_distributionsparam_dist, n_iter30, cv5, scoringf1_macro, random_state42, n_jobs-1 ) search.fit(X_train, y_train) print(search.best_params_)这段代码的关键点有三个randint定义的是离散均匀分布适合树模型这种对参数不敏感但需要覆盖范围的场景scoring选f1_macro而不是默认准确率是因为类别不平衡时准确率会骗人n_jobs-1用满 CPU 核数但要注意在大作业服务器上别把资源占满导致其他任务排队。失败时先看search.cv_results_里的mean_test_score分布如果所有参数得分都差不多说明模型本身对参数不敏感该换模型而不是继续调参。2.3 评估指标准确率之外的必考项大作业的评估部分很多人只写一个 accuracy这是典型的失分点。分类任务常考指标包括精确率、召回率、F1、ROC-AUC、PR-AUC、混淆矩阵。回归任务常考MSE、RMSE、MAE、R²。这里的高频面试题是“类别不平衡时为什么不能用准确率”答题思路举一个极端例子99% 负样本 1% 正样本全预测负类也有 99% 准确率但召回率为 0。然后说清楚该看什么如果关注漏检看召回率如果关注误报看精确率如果两者都要平衡看 F1 或 PR-AUC。ROC-AUC 和 PR-AUC 的区别也是常考点。ROC 曲线对类别比例不敏感PR 曲线在正样本极少时更能反映模型真实表现。面试官最想听的是“正样本占比低于 10% 时我优先看 PR-AUC因为 ROC 的 FPR 分母是负样本数负样本多时 FPR 变化被稀释看起来虚高。”回归任务里RMSE 和 MAE 的取舍也常被问。RMSE 对大误差敏感MAE 对异常值稳健。如果数据里有很多离群点MAE 更能反映平均水平如果大误差代价高RMSE 更合适。这类题通常这么答“我先画残差图看误差分布如果残差重尾就报 MAE 并说明原因。”3. 高频真题演练从代码到口述的完整答题链3.1 真题一手推逻辑回归梯度下降大作业答辩和面试里手推梯度是区分“调包侠”和“真懂”的分水岭。题目通常长这样“写出逻辑回归的损失函数并推导参数更新公式。”答题思路分四步第一步写 Sigmoid 函数和似然函数第二步取负对数得到交叉熵损失第三步对权重求偏导第四步写出梯度下降更新式。import numpy as np def sigmoid(z): # 防止溢出z 过大时 exp(-z) 趋近 0z 过小时 exp(z) 爆炸 return np.where(z 0, 1 / (1 np.exp(-z)), np.exp(z) / (1 np.exp(z))) def logistic_regression_gd(X, y, lr0.01, epochs1000): m, n X.shape w np.zeros(n) b 0.0 losses [] for i in range(epochs): z X.dot(w) b y_pred sigmoid(z) # 交叉熵损失加 1e-9 防止 log(0) loss -np.mean(y * np.log(y_pred 1e-9) (1 - y) * np.log(1 - y_pred 1e-9)) losses.append(loss) # 梯度对 w 是 X^T (y_pred - y) / m对 b 是 mean(y_pred - y) dw X.T.dot(y_pred - y) / m db np.mean(y_pred - y) w - lr * dw b - lr * db return w, b, losses这段代码里sigmoid用了分段写法避免np.exp溢出这是工程上常被忽略的细节。dw的维度是(n,)因为X.T是(n, m)(y_pred - y)是(m,)点乘后得到每个特征的梯度。学习率lr太大会震荡太小收敛慢实际调参时可以先跑 100 轮看 loss 曲线如果 loss 上下跳就减半如果下降太慢就加倍。面试官追问“为什么用交叉熵而不是 MSE”时答“MSE 对 Sigmoid 求导会带一个y_pred * (1 - y_pred)因子梯度消失严重交叉熵的梯度是y_pred - y更干净。”3.2 真题二决策树分裂准则与剪枝决策树是必考模型高频题是“ID3、C4.5、CART 的区别是什么”答题思路用一张对比表说清楚准则分裂指标特征类型树结构缺失值处理ID3信息增益离散多叉不支持C4.5信息增益率离散连续多叉支持CART基尼指数离散连续二叉树支持面试官最想听的是“CART 用基尼指数而不是信息增益是因为基尼指数没有对数运算计算更快而且 CART 强制二叉树避免多叉树在特征取值多时过度分裂。” 剪枝部分预剪枝和后剪枝的取舍也是常问预剪枝用max_depth、min_samples_leaf控制简单但可能欠拟合后剪枝用代价复杂度剪枝CCP先长成完全树再剪效果更好但计算量大。这类题通常这么答“我先用预剪枝限制深度防止过拟合再在验证集上跑 CCP 看ccp_alpha和准确率的关系选一个折中点。”3.3 真题三SVM 核函数与软间隔SVM 在大作业里通常用来做小样本对比。高频题是“线性核和高斯核分别适合什么场景”答题思路线性核适合特征维度高、样本量大的场景比如文本分类高斯核适合特征维度低、样本量小、非线性可分的数据。面试官会追问“高斯核的gamma参数怎么影响模型” 答“gamma越大单个样本影响范围越小决策边界越弯曲容易过拟合gamma越小影响范围越大边界越平滑容易欠拟合。”软间隔的C参数也是必考C越大对误分类惩罚越重间隔越窄容易过拟合C越小允许更多误分类间隔越宽泛化可能更好。这里给一个可复现的对比实验代码from sklearn.svm import SVC from sklearn.model_selection import cross_val_score from sklearn.preprocessing import StandardScaler from sklearn.pipeline import Pipeline # 把标准化和 SVM 放进 Pipeline避免在交叉验证外做标准化导致泄漏 pipe Pipeline([ (scaler, StandardScaler()), (svm, SVC(kernelrbf, C1.0, gammascale)) ]) # 用 5 折交叉验证评估scoring 选 accuracy scores cross_val_score(pipe, X, y, cv5, scoringaccuracy) print(f平均准确率: {scores.mean():.4f}, 标准差: {scores.std():.4f})这段代码的关键是 Pipeline 把标准化和 SVM 绑在一起交叉验证时每一折的标准化参数只从训练折计算避免测试折信息泄漏。gammascale是 sklearn 的默认值等于1 / (n_features * X.var())比手动设0.1或1更稳。失败时先看scores.std()如果标准差很大说明数据划分不稳定该用分层抽样或增加数据量。4. 易错点答辩和面试里最容易翻车的五个地方4.1 数据泄漏错在把测试集当训练集用错在哪在train_test_split之前做标准化、填充缺失值、特征选择或者在交叉验证外做 PCA。为什么错测试集的统计信息均值、方差、主成分方向混进了训练过程模型在测试集上的表现虚高答辩时被问“你的标准化是在划分前还是划分后做的”就露馅。怎么答对把所有预处理步骤放进 Pipeline交叉验证时 Pipeline 只在训练折上fit再transform验证折。答辩时主动说“我的标准化和特征选择都在 Pipeline 里交叉验证的每一折都是独立的。”4.2 只报准确率错在忽略类别分布错在哪数据集正负样本 9:1模型全预测负类准确率 90%你把这个数写进报告。为什么错准确率在不平衡数据上没有区分度答辩老师一眼看出你没看混淆矩阵。怎么答对先报类别分布再报精确率、召回率、F1 和 PR-AUC最后解释为什么选 F1 作为主指标。面试时主动说“我看了混淆矩阵发现召回率偏低所以调整了类别权重。”4.3 调参只贴代码不解释错在把搜索当黑匣子错在哪GridSearchCV跑完直接贴best_params_不说为什么搜这个范围、为什么选这个评分指标。为什么错面试官会追问“你怎么确定max_depth搜到 20 就够了”你答不上来。怎么答对先说参数的业务含义再说搜索范围的依据比如“max_depth从 5 到 20 是因为再深验证集准确率不升反降说明过拟合了”。面试时主动画一张参数-得分曲线比只报一个数有说服力。4.4 交叉验证用错类型错在时间序列用 KFold错在哪数据有时间顺序你用随机 KFold把未来数据混进训练折。为什么错时间序列的样本不独立随机划分会导致未来信息泄漏模型在测试集上表现虚高。怎么答对时间序列用TimeSeriesSplit分类任务用StratifiedKFold分组数据用GroupKFold。答辩时主动说“我的数据有时间戳所以用了TimeSeriesSplit保证训练折都在验证折之前。”4.5 模型解释缺失错在只报分数不报特征重要性错在哪随机森林跑出 0.95 的 F1但说不清哪些特征重要。为什么错大作业评分里“模型可解释性”通常占 10% 到 15%面试里也常问“你怎么解释这个模型的预测”。怎么答对用feature_importances_或permutation_importance排特征结合业务说清楚前三个特征为什么重要。面试时主动说“我看了排列重要性发现某个特征重要性很高但业务上不合理怀疑是泄漏删掉后分数降了 3 个点但更可信。”5. 答题技巧从开题到答辩的押题思路大作业的答题节奏我踩过最大的坑是“先跑模型再补文档”结果答辩前三天通宵补实验数据对不上被老师问“你这个 F1 是哪个版本的代码跑出来的”直接卡住。从那以后我每次做大作业都强制走一遍固定流程第一天只做数据探索和预处理把缺失值、异常值、类别分布画成图存下来第二天跑基线模型逻辑回归加决策树记录准确率、F1、训练时间第三天做特征工程和调参每改一次参数就存一次cv_results_第四天做模型解释和误差分析把混淆矩阵里错分的样本挑出来看第五天写报告所有数字从保存的结果文件里读不手抄。押题思路方面大作业答辩和面试的高频问题集中在五个方向数据层面问“你怎么处理缺失值和异常值”“类别不平衡怎么解决”模型层面问“为什么选这个模型”“这个模型的假设是什么”调参层面问“学习率怎么定”“正则项加在哪”评估层面问“为什么用这个指标”“交叉验证怎么做的”解释层面问“哪些特征重要”“模型在什么情况下会失效”。每个方向准备一个 30 秒的口述版本和一个 2 分钟的展开版本口述版本只讲结论和依据展开版本补实验细节。这里给一个答辩自检清单每次提交前过一遍检查项合格标准常见翻车数据划分训练/验证/测试三分划分前无预处理先标准化再划分交叉验证分类用 Stratified时序用 TimeSeriesSplit随机 KFold 跑时序评估指标至少报两个指标不平衡数据报 F1/PR-AUC只报准确率调参记录保存 cv_results_能画出参数-得分曲线只贴 best_params_模型解释有特征重要性或排列重要性只报分数代码复现固定随机种子依赖版本写进 requirements结果对不上最后说一个具体方法把答辩当成“给一个不懂你项目的人讲清楚你做了什么”。我习惯在答辩前找同组的人模拟问三个问题——“你的数据从哪来”“你的模型为什么比基线好”“你的结果可信吗”——如果三个问题都能用一句话答清楚基本就稳了。希望帮到你。本文还有配套的精品资源点击获取