news 2026/8/16 17:47:07

从基向量搬迁到算术强度陷阱:给大模型工程师的线代解构

作者头像

张小明

前端开发工程师

1.2k 24
文章封面图
从基向量搬迁到算术强度陷阱:给大模型工程师的线代解构

几乎所有入门材料都会给你同一个比喻:np.ndarray的二维形态就是矩阵,矩阵就是一张按行列排好的数字表。这个比喻很省事,也确实够你把A @ B写对。可它解释不了紧接着发生的每一件事——为什么行数列数必须那样对上;为什么nn.Linear存权重偏要存成(out_features, in_features)这个看起来反过来的形状;为什么同一份权重、同样多的乘加,换个乘法顺序墙钟时间能差出一个数量级;为什么有人把一层权重换成两个瘦矩阵还不掉点,有人换完精度直接崩。表格这个比喻在第一个问题上就已经不够用了:格子里放什么它管得住,格子代表哪里它管不住。而后面所有的坑,坑的都是“哪里”。

矩阵的每一列记的是一个基向量被搬到了哪里。本文从二十行手写matmulnp.matmul的对拍起步,推出乘法为什么是列的线性组合、结合律怎么把同样的 FLOPs 差出十九倍;再用行列式、秩与条件数改写可逆性判据,把nn.Lineary = xA^T + b拆回换基加平移,用幂迭代盯住方向不变的特征向量,用 SVD 把矩阵摊成一串外积并量 Eckart-Young 的截断误差,验 PCA 走 SVD 而非协方差特征分解的数值理由,再算低秩替换在算术强度上翻车的那一档,收在 shape 与广播的三种翻车上。适合写高性能 C++ 或做大模型算法、而线代记忆还停在应试层的工程师。

二十行手写 matmul,和它藏起来的那个断言

先把东西做出来。矩阵乘法的教科书定义是“

版权声明: 本文来自互联网用户投稿,该文观点仅代表作者本人,不代表本站立场。本站仅提供信息存储空间服务,不拥有所有权,不承担相关法律责任。如若内容造成侵权/违法违规/事实不符,请联系邮箱:809451989@qq.com进行投诉反馈,一经查实,立即删除!
网站建设 2026/8/16 17:45:13

TYZRNEditor快速上手:5步将富文本编辑器集成到React Native项目

TYZRNEditor快速上手:5步将富文本编辑器集成到React Native项目 【免费下载链接】Blum-auto-bot Blum-auto-bot 项目地址: https://gitcode.com/gh_mirrors/blumauto/Blum-auto-bot 想在自己的 React Native 应用里内置一套功能完整的富文本编辑器&#xff0…

作者头像 李华
网站建设 2026/8/16 17:28:49

[ SpringWeb ] 搭建和配置

目录 一. 概述 (1). 问题引出: (2). 定义: (3). 特点: (4). 运行流程: (5). 组件 二. SpringWeb的搭建 (1). pom.xml 导入jar文件 (2). 在 web.xml 文件中配置 DispatcherServlet (3). 在resources下创建spring .xml文件,并在spring .xml中 配置核心 (4)接受参数和响应数据…

作者头像 李华
网站建设 2026/8/16 17:24:51

再论勾股定理成立的条件-8

现在让我们集中注意力,考虑质数。根据先前的描述,质数有两个来源,一个是当前层次上单位1的多次后继运算,另一个是从更低层次(也可能是更高层次)发出的投射。前者的单位是,而后者的单位为。我们知…

作者头像 李华
网站建设 2026/8/16 17:20:11

1242条!中国第二部法典今日实施,这些变化和每个人息息相关

从今天起,我们的绿水青山有了更坚实的法治屏障。今天(8月15日),一个值得被记住的日子。继《民法典》之后,我国第二部以"法典"命名的法律——《中华人民共和国生态环境法典》正式施行。16万多字,5…

作者头像 李华