简介《线性代数及其应用》第5版英文原版PDF面向高校理工科、经济管理类学生以及人工智能与机器学习自学者用于系统学习线性方程组、矩阵运算、行列式、向量空间、特征值与特征向量、正交性、最小二乘和二次型等核心内容。资源包为1个PDF文件大小约10.6MB版面完整、文字可复制便于检索定义定理、整理笔记和对照课程进度阅读。已有1510人学习下载说明其在英文教材自学与课程辅导中具有一定参考价值。作为David C. Lay等编写的经典教材第5版在概念讲解与几何直观之间保持平衡并配有大量例题和习题可帮助读者打牢线性代数基础为后续学习数据科学、优化方法和神经网络等方向提供数学支撑。1. 线性代数到底在算什么一张表格背后的机器很多人第一次听到线性代数脑子里浮现的是一堆下标和行列式像某种需要背下来的咒语。它要解决的问题其实朴素得惊人手里有一张表格每行是一条记录每列是一个指标你想知道记录之间有没有隐藏关系、能不能用几列拼出另一列、把整张表整体旋转一下会看到什么——这些问题凑在一起就长成了线性代数。表格里的一列叫向量整张表叫矩阵所谓“线性”说的是数字之间只做加法与数乘不拐弯、不平方、不开根号。正因为这么克制计算机才能高效地搬运它图像压缩、推荐系统、神经网络里都有它的影子。第五版《线性代数及其应用》做的就是把这台机器的零件拆开给你看再按原样装回去。2. 为什么线性代数绕不开矩阵把一堆方程塞进一个方框线性代数最反直觉的一步是把“解方程”换成“看矩阵”。这一步跨过去后面所有概念都顺跨不过去就会一直停在“背公式”的阶段。这一章按三层递进先把方程组压缩成矩阵再看矩阵乘法到底在做什么最后用四个子空间给整个矩阵画一张地图。三层之间是同一件事的三个视角不是三个孤立知识点。2.1 消元法的本质换一组眼睛看同一个方程组拿一个三元一次方程组来说中学的解法是“消元”用第一式消掉第二式里的 x再用前两式消掉第三式里的 y。教材把这件事抽象了一步——只记录系数不写字母。于是 x 2y 3z 6 2x 5y 2z 4 6x - 3y z 2 被压缩成一个 3×4 的增广矩阵前三列是系数最后一列是等号右边的常数。这么一压缩好处立刻显现解题过程中真正变化的只有数字字母只是占位符写不写都一样。接下来的关键判断是哪些操作是“合法”的。教材给出三种初等行变换——交换两行、把某一行乘以一个非零常数、把某一行的倍数加到另一行上。这三种操作有一个共同点它们都不会改变方程组的解集。前两种好理解第三种稍微微妙一点它相当于“把两个等式相加得到的新等式”替换掉其中一个旧等式新等式组和旧等式组是同解的。把这三件事反复做矩阵会被推成一个阶梯形状每一行的第一个非零元主元所在的列越来越靠右主元下方全是零。再往上消一遍把主元上方也清成零并让主元等于 1就得到简化行阶梯形。到这一步方程组的命运基本就定了。主元所在的列叫主元列对应的变量是基本变量没有主元的列对应的变量是自由变量。如果最右一列出现了主元等价于某一行变成 0 非零那就是无解。如果最右一列没有主元、又不存在自由变量就是唯一解。如果存在自由变量就是无穷多解解的个数由自由变量的取值自由度决定。三种情形穷尽了所有可能这是线性方程组理论里最干净的一个结论。用一段代码把上面的流程写出来比盯着书本上的箭头更容易看清“到底在循环什么”def rref(M, eps1e-9): 对增广矩阵做简化行阶梯形变换返回 (结果矩阵, 主元列号列表) A [row[:] for row in M] # 复制一份避免改到调用方传进来的数据 rows, cols len(A), len(A[0]) pivots [] # 记录每一行主元落在哪一列 r 0 # 当前正在处理的行 for c in range(cols): # 第一步在第 c 列、第 r 行往下找一个绝对值最大的元素当主元 cand max(range(r, rows), keylambda i: abs(A[i][c])) if abs(A[cand][c]) eps: continue # 这一列剩余部分全是 0没有主元直接跳列 A[r], A[cand] A[cand], A[r] # 第二步换到当前行 pv A[r][c] A[r] [v / pv for v in A[r]] # 第三步主元归一 for i in range(rows): # 第四步上下都消成 0 if i ! r and abs(A[i][c]) eps: f A[i][c] A[i] [a - f * b for a, b in zip(A[i], A[r])] pivots.append(c) r 1 if r rows: # 所有行都排好了提前结束 break return A, pivots这里的eps是浮点容差判断某个数“是不是零”不能直接和 0 比因为计算机做除法会留下 1e-17 这类残渣pivots返回的列号列表就是主元列主元列的数量就是矩阵的秩最后一列是否落在pivots里直接决定方程组有没有解。选绝对值最大的元素当主元数值分析里叫部分主元法是为了压住舍入误差否则遇到 0.0001 这种很小的主元除法会把误差放大成噪声。这套流程在纸上是几十行推导在代码里就是一个双重循环两者描述的是同一件事。2.2 矩阵乘法的真实含义Ax 是列的重新配比教科书定义矩阵乘法的方式很容易把人带偏行乘列、对应相乘再相加一堆下标 i、j、k 绕来绕去看着像体力活。真正有用的读法只有一句Ax 是 A 的各列按照 x 的分量做加权求和。A 的第一列乘 x 的第一个分量第二列乘第二个分量全部加起来就是这个乘积。写出来是Ax x₁a₁ x₂a₂ … xₙaₙ其中 aᵢ 是 A 的第 i 列。这个视角一换很多原本抽象的结论变得几乎不需要证明方程 Ax b 有解等价于 b 能写成 A 的列的线性组合也就是 b 落在 A 的列空间里。齐次方程 Ax 0 有非零解等价于 A 的各列之间存在一组不全为零的系数让它们的加权和等于零向量这就是“线性相关”的定义。同一个式子既是方程组又是线性组合又是变换三种说法指的是同一件事。矩阵乘矩阵也是同样的读法AB 的第 j 列等于 A 乘以 B 的第 j 列。如果 B 的第 j 列是一个具体的向量那么 AB 的第 j 列就是 A 的各列按这个向量的分量重新配比一次。连起来看AB 表示的是“先做 B 这个变换再做 A 这个变换”的复合效果。这也解释了为什么矩阵乘法一般不满足交换律先旋转再拉伸和先拉伸再旋转结果通常不一样这属于一条运算规矩并非人为规定。举个具体的例子。设 A 是 2×2 矩阵第一列 (1, 0)第二列 (0, 2)它把平面上的点 (x, y) 变成 (x, 2y)——横向不动纵向拉长两倍。再设 B 的第一列 (0, 1)第二列 (1, 0)它把点 (x, y) 变成 (y, x)也就是沿对角线翻折。AB 表示先翻折再纵拉BA 表示先纵拉再翻折拿 (1, 1) 试一下会发现结果不同。用两行代码就能验证这也顺带说明了为什么写矩阵乘法时顺序不能凭感觉调换。2.3 四个子空间给矩阵画一张地图学到向量空间那一章教材会一次性抛出四个子空间列空间、零空间、行空间、左零空间。名字听着唬人其实它们在回答四个很具体的问题。列空间问的是“这个矩阵能产出哪些向量”零空间问的是“哪些输入会被压成零”行空间问的是“矩阵的行能张成多大的空间”左零空间问的是“哪些向量和所有列都垂直”。前两个最常用后两个主要是把图补全。这张地图的价值在于把“有解无解、解唯一不唯一”变成两句话。Ax b 有解与否看 b 是否落在 A 的列空间里解是否唯一看 A 的零空间是否只包含零向量。而这两件事又被一个等式绑在一起秩定理说对 m×n 的矩阵 A列空间的维数秩加上零空间的维数零度恰好等于列数 n。这个等式非常强硬——列数固定秩越大零空间就越小自由度就越少。自由变量、主元列、秩、零度四个词其实是同一件事的四种叫法。再补一条常被忽略的对应关系列空间和左零空间是正交补行空间和零空间是正交补。所谓正交补就是“所有与这个空间里每个向量都垂直的向量构成的集合”。这条关系在最小二乘那一章会变成核心工具当 b 不在列空间里时把它投影到列空间上误差向量自然落在左零空间里于是得到正规方程。现在先记住地图的形状后面用到时再回头对照。提示判断方程组结构时先算秩再谈其他。秩一旦确定自由度、解的存在性、列是否线性无关基本都能顺手推出来不必每次从头消元。3. 特征值与奇异值为什么它们总在人工智能里出现如果矩阵是线性代数的名词特征值和奇异值就是它的形容词——描述一个矩阵“长什么样、力气多大、往哪使劲”。这一章讲三件事特征向量为什么特殊、矩阵能不能被拆成一堆简单部件、方程无解时怎么退而求其次。这三件事连起来就是数据科学里最常被调用的那部分线性代数。3.1 特征向量变换中唯一不转向的方向绝大多数向量被矩阵乘一次方向就变了。但总有那么一些向量乘完之后方向不变只是长度被拉长或压短甚至可能反向。这类向量叫特征向量那个伸缩倍数叫特征值写成 Av λv。它描述的是变换的“主轴”在这个方向上复杂的矩阵作用退化成一个标量乘法好算得多。求法是把 Av λv 改写成 (A - λI)v 0。这是一个齐次方程想让它有非零解系数矩阵必须不可逆也就是行列式为零det(A - λI) 0。这个式子叫特征方程展开后是一个关于 λ 的多项式次数等于矩阵的阶数。解出来的根就是特征值把每个特征值代回去解齐次方程得到的就是对应的特征向量。几个容易忽略的细节值得单独说。特征值可以是 0那意味着这个矩阵把某个非零方向直接压没了矩阵必然不可逆。特征值可以是负数意味着那个方向被翻到反侧。特征值还可以是复数这时候它描述的是旋转一个纯旋转矩阵在实数范围内没有特征向量因为平面上没有任何一个方向在旋转后还保持原方向只有在复平面里才有解。教材第 5 章专门用一节处理复特征值就是为了说明这件事。3.2 对角化与奇异值分解把矩阵拆成好算的部件如果 n 阶矩阵 A 有 n 个线性无关的特征向量把它们按列拼成矩阵 P对应的特征值放在对角矩阵 D 的对角线上那么 A PDP⁻¹。这个分解叫对角化它的实际价值是让幂运算变简单Aᵏ PDᵏP⁻¹而 Dᵏ 只需要把对角线上的每个数各自求 k 次方。动力系统里反复迭代的过程、马尔可夫链收敛到稳态的过程本质都是这一个式子在起作用。对角化有两个门槛。第一特征向量必须够 n 个且线性无关有些矩阵凑不齐叫不可对角化。第二即便能对角化P 也未必是正交矩阵数值计算上不够稳。对称矩阵是个特例它可以正交对角化写成 A QDQᵀQ 的列是两两正交的单位向量。这个性质极其好用二次型、正定性判断、主成分方向全都建立在它上面。对非方阵对角化根本无从谈起这时候上场的是奇异值分解任意 m×n 矩阵都能写成 A UΣVᵀU 和 V 都是正交矩阵Σ 是只有对角线上有数的“长方形对角阵”那些对角线上的非负数就是奇异值按从大到小排列。它的几何含义是任何矩阵变换都可以拆成“旋转—沿坐标轴拉伸—再旋转”三步。奇异值的平方等于 AᵀA 的特征值所以奇异值永远非负这也解释了为什么它比特征值适用范围更广。奇异值分解在工程里的地位可以用一句话概括它是“有损压缩”的数学依据。一张图像存成矩阵做奇异值分解后只保留最大的几十个奇异值及其对应的向量其余置零重构出来的图像肉眼看差别不大但存储量掉了一个数量级。同样的思路在推荐系统里叫隐因子分解在统计里叫主成分分析名字不同骨架是同一副。3.3 最小二乘方程无解时的最优妥协现实中的数据几乎总是“方程比未知数多”。做一百次测量想拟合两个参数方程组超定精确解不存在。这时改用另一个标准在所有候选 x 里挑一个让 Ax 和 b 的差距最小的。差距用欧氏距离衡量也就是最小化 ‖Ax - b‖²这套方法叫最小二乘。几何图像很清楚b 通常不在 A 的列空间里把 b 垂直投影到列空间上投影点记作 p那么 p 一定等于某个 Ax̂。误差向量 b - p 垂直于整个列空间也就落在左零空间里于是 Aᵀ(b - Ax̂) 0整理得 AᵀAx̂ Aᵀb这就是正规方程。当 A 的列线性无关时AᵀA 可逆解唯一公式是 x̂ (AᵀA)⁻¹Aᵀb。用一段代码把正规方程的求解过程走一遍顺便看看为什么实际工程里很少直接对 AᵀA 求逆def normal_equation(A, b, eps1e-9): 用正规方程求最小二乘解A 是 m×n 列表b 是长度 m 的列表 n len(A[0]) # 第一步手工算 AᵀA结果是一个 n×n 的对称矩阵 AtA [[sum(A[k][i] * A[k][j] for k in range(len(A))) for j in range(n)] for i in range(n)] # 第二步手工算 Aᵀb结果是一个长度 n 的向量 Atb [sum(A[k][i] * b[k] for k in range(len(A))) for i in range(n)] # 第三步拼成增广矩阵交给前面的 rref 解掉 aug [AtA[i] [Atb[i]] for i in range(n)] R, piv rref(aug, eps) if len(piv) n: return None # 列相关AᵀA 不可逆没有唯一解 return [R[i][n] for i in range(n)]这段代码里AtA和Atb就是正规方程的左右两端rref负责解这个 n 元方程组。需要留意的是piv的长度小于 n 说明 A 的列线性相关此时 AᵀA 不可逆最小二乘解不唯一只能取其中一个通常取范数最小的那个靠伪逆实现。实际工程里之所以不直接算 (AᵀA)⁻¹是因为 AᵀA 的条件数是 A 的两倍数值上更容易放大误差常见做法是改用 QR 分解或奇异值分解——这也解释了教材为什么把 QR 和最小二乘放在同一章。线性回归就是最小二乘最日常的应用把每个样本的特征堆成一行标签堆成一列解一次正规方程就得到回归系数。所谓“训练”在最小二乘这一层就是解一个超定方程组。4. 常见误区与易混概念五组最容易搞混的配对线性代数的概念密度高很多词长得很像用的时候张冠李戴推导就会莫名其妙地断掉。下面五组是反馈里出现频率最高的每组按“容易混在哪、为什么会混、怎么区分”说清楚。4.1 秩与维度一个属于矩阵一个属于空间易混点看到“秩是 3”和“维数是 3”就往同一个筐里放。为什么混秩的定义是“列空间的维数”一句话里同时出现秩和维数很容易把两者当成同义词。怎么区分维度是空间的属性秩是矩阵的属性说“矩阵的维度”本身就是一句含混的话得先问清楚指行数、列数还是列空间的维数。可靠的说法是m×n 矩阵的秩不超过 min(m, n)而它所在的 Rᵐ 维数是 m。另外秩是整数且等于主元列的个数这个可计算的定义在做题时比“极大无关组的个数”更好用。4.2 线性无关与正交一个讲组合一个讲夹角易混点以为正交的向量组和线性无关的向量组是一回事。为什么混两者都常用来描述“这组向量不冗余”教材里又经常并排出现。怎么区分正交是一个度量概念需要先有内积才能谈说的是两两夹角 90 度线性无关是一个组合概念只需要加法和数乘说的是没有任何一个向量能被其余向量线性表出。关系是单向的一组非零向量如果两两正交必然线性无关反过来不成立比如 (1,0) 和 (1,1) 线性无关但夹角是 45 度。搞混这一条在 Gram-Schmidt 那一节会格外痛苦因为那个算法做的就是“把线性无关的一组向量改造成正交的一组”。4.3 特征值与奇异值一个要方阵一个不挑形状易混点看到“特征值分解”和“奇异值分解”都是拆矩阵以为奇异值就是特征值的另一种叫法。为什么混对称正定矩阵身上两者数值恰好相等做过几道这种题就容易一概而论。怎么区分特征值只对方阵有定义可以是负数、可以是复数几何上是“方向不变、长度伸缩”奇异值对任意矩阵都有定义永远非负几何上是“拉伸的三个步骤里每一步的倍数”。两者有明确换算关系奇异值是 AᵀA 特征值的算术平方根。一个 3×2 矩阵既没有特征值也没有特征多项式但它有两个奇异值。4.4 行列式为零、不可逆、列线性相关、有非零零空间解易混点把这几个当成四条独立结论分别背。为什么混教材在不同章节分别证明过它们考试也分开考于是看起来像四件事。怎么区分对 n 阶方阵而言这四条完全等价是同一件事的四种表述只要有一条成立其余三条自动成立。但边界要卡死行列式只对方阵有定义非方阵谈“行列式为零”是无效命题而“列线性相关”“有非零解”“不可逆”对非方阵要用秩来表述。记住等价关系的适用范围比记住结论本身更重要。4.5 正交投影与最小二乘解一个是向量一个是系数易混点算出最小二乘解 x̂就以为它是 b 在列空间上的投影。为什么混两者都在讲“最近点”推导过程里又总是同时出现。怎么区分投影是列空间里的那个向量 p Ax̂属于 Rᵐ最小二乘解 x̂ 是系数属于 Rⁿ它的作用是把 A 的列配比成 p。m 和 n 一般不相等两者维度都不同不能混为一谈。检验方法很简单把 x̂ 代回 Ax̂得到的才是投影点误差向量 b - Ax̂ 必须垂直于 A 的每一列这一步能同时验算 x̂ 是否正确。5. 这本教材的组织方式从 Rⁿ 一路搭到抽象空间同一门课不同的书走法差别很大。有的书一上来就讲公理化的向量空间抽象得很过瘾但初学者容易在半路掉队有的书把计算讲到极致概念却悬在空中。第五版的取舍是先把具体场景讲透再往抽象抬这条坡道的设计值得单独拆开看因为它决定了读者在什么阶段会遇到什么坎。5.1 前十节先在 Rⁿ 里把话说完第 1 章的十节内容排得很紧线性方程组、行化简与阶梯形、向量方程、矩阵方程 Ax b、解集、线性系统的应用、线性无关、线性变换入门、线性变换的矩阵、以及商业与工程中的线性模型。这十节实际上把整门课的核心概念都在 Rⁿ 这个具体环境里过了一遍。特征值、秩、基、维数这些词后面还会 reappear但第一次见面时它们都穿着具体的坐标外衣。这么安排的好处是降低第一道门槛。在 Rⁿ 里向量就是一组数线性组合可以真的动手加起来线性无关可以用消元判断不需要先接受一套公理。等到第 4 章正式定义向量空间时读者心里已经积累了十几个具体例子抽象定义只是给这些例子一个共同的名字。这条“先具体后抽象”的路线也是这本教材被广泛采用的原因之一。代价是第 1 章的信息密度偏高。1.7 线性无关、1.8 与 1.9 线性变换连着三节每一节都在给后面埋伏笔第一次读觉得零散很正常。比较稳的读法是1.1 到 1.5 必须吃透这是全书的语法1.6 和 1.10 可以当故事看先建立“这东西能干什么”的印象1.7 到 1.9 可以读到第 4 章再回头补那时会突然看懂。5.2 应用章节是散落的但彼此呼应这本教材的应用内容分散在各章并不集中在最后。第 2 章讲矩阵代数时带出投入产出模型和计算机图形学第 3 章讲行列式时用体积和线性变换解释几何意义第 4 章讲向量空间时接上差分方程与马尔可夫链第 5 章讲特征值时展开到离散动力系统与微分方程第 6 章讲正交性时落到最小二乘与线性模型第 7 章讲对称矩阵时接到图像处理与统计第 8 章直接把几何搬上来讲仿射组合、凸组合、超平面、多面体与曲线曲面。这些应用章的写法有个共同点先给一个真实场景的简化版再把数学工具套上去最后回到场景解释结果。比如马尔可夫链那一节先给状态转移的表格再写成矩阵再问“长期来看各状态占比会不会稳定”答案是稳态向量而稳态向量就是特征值 1 对应的特征向量。整条线索是闭环的不需要额外补充背景。两章在线内容补充了两个方向一个是矩阵博弈与线性规划包括几何解法、单纯形法和对偶另一个是有限状态马尔可夫链的深入内容包括稳态向量、通信类、状态分类与周期性。这部分对运筹、网络分析方向的人有用对只想打基础的人可以先跳过。5.3 概念题与习题的分工第五版在习题上做了明显调整超过四分之一的习题是新写或改写的尤其是计算类同时增加了一类“概念练习”配了答案专门练证明和概念辨析。这个设计解决了一个老问题——很多人计算题做得飞快一遇到“请说明为什么”就卡住。两类题的用法不一样。计算题是练手感行列式、秩、特征多项式这些流程必须做到不假思索否则考试时手忙脚乱概念题是练判断比如给一个 3×3 矩阵问“能否对角化”答案不该是埋头算特征值而是先看有没有三个线性无关的特征向量或者看是否对称。前者靠重复后者靠对照定义逐条检查。教材的编排还有一个细节每章开头都有一个引入性例子正文中间穿插“数值笔记”提示浮点误差的影响附录里放了对化简阶梯形唯一性的证明和复数速览。这些边角内容不属于主线但恰恰是自学时最容易被跳过、事后最容易被卡住的部分。读的时候把附录当成正文的一部分比事后回头翻要省力。6. 什么时候该翻它什么时候别翻判断一本教材适不适合自己看的不是它有多权威而是它假设的起点和你现在的位置差多少。这本书的起点写得很明确需要两个学期大学数学的成熟度通常是微积分。低于这个起点第 1 章后半段会读得很吃力高于这个起点前四章会觉得啰嗦。具体到人群可以按目的分四类来看。第一类是正在修课的学生这本教材的章节顺序和大多数课程大纲吻合习题量大概念题有答案作为主教材或配套读物都合适。第二类是已经工作、想补数学底子的开发者建议从第 2、3、6 章切入先解决矩阵运算、行列式的几何意义、正交与最小二乘这三块这是工程里调用频率最高的部分第 4、5 章的抽象内容可以缓一缓。第三类是准备转向机器学习方向的人重点在第 6 章和第 7 章最小二乘、正交投影、奇异值分解、二次型这几节几乎是后续内容的通用语言。第四类是想做纯数学方向的人这本书的深度不够证明的严格程度也偏温和更适合当入门跳板而不是终点。反过来有几种情况不建议从它开始。完全没接触过矩阵运算、连转置和乘法都没算过的人直接读第 1 章会觉得每一步都在跳只想快速调用现成库、不打算理解原理的人读这本书的投入产出比很低查文档更快需要严格公理化训练的人这本教材把大量证明放进了附录和习题正文偏重直觉可能满足不了要求。你的处境建议入口建议跳过正在修线性代数课第 1 章顺序读第 9、10 章在线内容开发者补数学第 2、3、6 章第 8 章的几何部分转机器学习方向第 6、7 章第 3 章的克拉默法则只想搞懂 AI 里的矩阵第 2.2、3.2、6.5 节第 4 章的抽象证明有个血泪经验值得分享不少人冲着“人工智能需要线性代数”这句话买了书从第一页开始硬啃啃到向量空间那一章就停了然后再也没打开过。问题不在难度在于没有带着问题读。比较靠谱的顺序是先用一个具体任务驱动比如手工实现一次最小二乘拟合卡在“为什么要求 AᵀA 可逆”时再翻到第 6 章卡在“为什么特征值能判断收敛”时再翻到第 5 章。带着卡点去读一章能顶三章。从那以后我每次推荐这本书都会先问一句“你现在卡在哪”而不是直接说“这书很好”。工具书的价值不在读完在于你知道遇到哪类问题时该翻到哪一节。希望帮到你。完整的高清英文版资料已经整理好需要的话可以按文末方式获取配合上面的阅读顺序用会比从头翻到尾顺手得多。本文还有配套的精品资源点击获取