程序员的数学自学清单:3个卡点、6本书的完整读法
【免费下载链接】pdfsTechnically-oriented PDF Collection (Papers, Specs, Decks, Manuals, etc) — browse & search it at tpn.github.io/pdfs项目地址: https://gitcode.com/GitHub_Trending/pd/pdfs
上次盯着 loss 曲线看了半小时,还是没搞懂"梯度消失"到底指什么——这种卡住的感觉,很多程序员都熟悉。GitHub_Trending/pd/pdfs 仓库里收了几十本数学相关的书和论文,本文不全列,只挑 6 份真正用得上,对应程序员最常踩的 3 个卡点,每份都写清怎么读。
速查表:卡点、资源、读法一张看完
先拿仓库:
git clone https://gitcode.com/GitHub_Trending/pd/pdfs
| 你正卡在哪 | 对应资源 | 读法建议 |
|---|---|---|
| 梯度下降看不懂,loss 不收敛 | Calculus Made Easy | 先读微分章,重点看链式法则 |
| 模型能训,但 PCA、降维说不清 | Thirty-three Miniatures.pdf) | 别通读,挑 5 篇特征值相关 |
| 正则化为什么有效,说不出来 | Convex Optimization.pdf) | 只读第 2-4 章 |
| 数值漂移、精度怪、代码慢 | The NumPy Array 论文.pdf) | 8 页,一次读完 |
| 分析数据但不懂显著性检验 | ISLR.pdf) | 第 1 章 + 第 6 章 |
| 想搞懂压缩、熵的原理 | A Mathematical Theory of Communication.pdf) | 一次读完 |
卡点一:梯度下降会写,但讲不清楚
训练循环能跑通,却说不清学习率为什么不能太大、链式法则到底在算什么,问题通常不在代码,在微积分。
Calculus Made Easy 是一本 1910 年的经典微积分入门,全书薄薄一本,一个周末能读完。它最大的特点是把"differential 没什么神秘的"当口号来讲,每个公式都配手算示例,基本没有跳步。
- 适合谁:会背求导公式,但一碰到多层复合函数就懵的人。
- 怎么读:先翻目录,直接跳微分部分,重点看链式法则和乘除法则两节。一天一节,边读边把示例亲手算一遍——这本书的示例不带答案,算对了才算读进去。
- 读完能做什么:打开你的训练代码,手推一层线性层加激活函数的梯度。推得出来,学习率、动量这些就不再是玄学。
卡点二:模型能训,但数学是黑盒
PCA、SVD、"为什么 784 维能压到 50 维",一旦问题走到矩阵分解这一步,线代只会解方程组就不够了。
Thirty-three Miniatures.pdf) 是 Matoušek 2017 年的书,33 个独立短篇,每篇讲一个线性代数在算法里的具体应用,有的偏证明,有的直接给矩阵技巧怎么提速。它是"案例集",不是"体系书"。
- 适合谁:线代学过一遍,想看看矩阵在真实问题里到底怎么用的。
- 怎么读:千万别从头顺读。挑 5 篇:特征值、矩阵乘法、SVD 相关的各来一篇,每篇五六页,一天一篇,读不进去就跳过,零损失。
- 想再深一步:想知道"这个目标函数为什么最小值存在且唯一",翻 Convex Optimization.pdf)。书厚,但第 2 到 4 章就够你理解大多数机器学习目标函数里的正则项。
卡点三:数值漂移、精度怪、代码慢
1.0 减 0.9 不等于 0.1,归约累加后浮点误差放大,NumPy 代码比手写的还慢——这些和算法复杂度无关,是数值计算问题。
The NumPy Array 论文.pdf) 是 2011 年 2 月发表的一篇短文,只有 8 页,讲清楚 NumPy 数组对象内部是什么:view 怎么产生、transpose 之后内存布局是什么、操作慢的瓶颈常见在哪。
- 适合谁:天天写科学计算、数据处理代码的人。
- 怎么读:一次读完,不用记笔记。读完打开解释器验证一句:建一个数组取个切片,看
base属不指向原数组。论文说什么,解释器确认什么,印象最深。
如果问题不是"慢"而是"结果出来不知道对不对、该不该信",ISLR.pdf) 是统计方向最顺手的入口:先给图再给公式,第 1 章用真实数据走一遍完整流程,第 6 章线性回归讲得比很多课都细。画分析图时查语法,仓库里这份 cheat sheet 也顺手:
程序员数学与数据可视化:matplotlib 速查表
长期备查的三本
这三本不建议通读,用哪个查哪个:
- A Course in Machine Learning.pdf):从概率到深度学习的完整讲义集,遇到不懂的模型章节名,来查对应一章。
- A Mathematical Theory of Communication.pdf):香农 1948 年原文。调压缩算法、设计协议时读它,"熵"和"冗余"这两个词从此有出处。
- Graph Theory (2005).pdf):图论入门,离散数学里最实用的一块,做路由、依赖分析、社交图问题都用得上。
三本共同点:通读慢,单页查快。放磁盘里,别放书架上。
今晚就做这一件事
别定三个月计划。今晚打开 Calculus Made Easy,翻完目录,读复合函数求导那一节,把里面的示例在草稿纸上算一遍——比写任何"学习计划"都管用。
【免费下载链接】pdfsTechnically-oriented PDF Collection (Papers, Specs, Decks, Manuals, etc) — browse & search it at tpn.github.io/pdfs项目地址: https://gitcode.com/GitHub_Trending/pd/pdfs
创作声明:本文部分内容由AI辅助生成(AIGC),仅供参考