做图像处理的人大概都遇到过这种场景：一张几千万像素的实拍照片要生成缩略图，结果缩完之后原本整齐的砖墙纹理变成了一堆乱糟糟的波纹；或者反过来，把一张小图放大了两倍，人脸边缘像是被水泡过一样，模糊中还带着锯齿。我以前也以为是压缩算法或者显示器的问题，直到某次做多尺度特征匹配时认真读了OpenCV文档，才意识到这两件事都绕不开同一个底层概念——图像金字塔，而OpenCV里面最基础的两个操作就是pyrDown降采样和pyrUp上采样。
这篇笔记不是光贴官方API用法，而是把这两个函数背后的原理、手动实现方法、还有实际项目中容易踩的尺寸坑掰开揉碎讲清楚。适合刚接触OpenCV的初学者，也适合那些已经会用cv2.resize但被金字塔概念绕晕的人。看完之后你至少能回答三个问题：为什么降采样之前要先模糊？为什么pyrUp不是pyrDown的逆运算？以及拉普拉斯金字塔到底是怎么把图像“无损失”地分解再重组的。
1. 金字塔到底长什么样：多层分辨率图像的组织方式
1.1 一个层级对应一个分辨率
图像金字塔这个名字很形象，底部是原始分辨率最高的图像，每往上一层，图像的长宽各减半、分辨率降低一级，直到图像小到几乎无法继续分解为止，叠在一起就像一座金字塔。
说具体一点，一张 256×256 的灰度图，pyrDown一次变成 128×128，再pyrDown变成 64×64，这样连续处理五次就得到 256、128、64、32、16 这一组分辨率不同的图像。把它们从下到上堆起来，就是一座标准的高斯金字塔。每一层图像仍然保留了原始画面的大致结构，只是细节越来越少，相当于从不同的距离看同一张海报——站得越远，能看清的信息越少。
这里有个容易忽略的事实：OpenCV 对金字塔每一层的图像类型没有限制，灰度图可以，彩色图也可以，层数也没有硬性上限，只要别缩小到连 1×1 都没有就行。实际操作中我一般取 4～6 层，再往下就算能算，信息含量也少得可怜，对后续处理没什么帮助。
1.2 为什么需要这层结构
很多人第一次接触金字塔时会想：我直接用cv2.resize把图缩小不就行了，何必一层一层来？这个问题问到点子上了。金字塔的价值在于“多尺度”，也就是让算法既能看见图像的大结构，又能看见小细节。
举个例子，你在照片里检测人脸，如果人脸在画面里只有 20×20 像素，和背景融为一体，直接在高分辨率图上去跑检测窗口，计算量巨大还容易漏检。正确的做法是先在金字塔的顶层（低分辨率）把候选区域找出来，比如缩小到原来四分之一时人脸可能变成 80×80 像素，检测窗口轻松覆盖，然后再回到原始层对候选区域做精细定位。
再比如图像融合：你手上有两张同样场景但一个聚焦前景、一个聚焦背景的照片，如果直接在原始分辨率上做线性融合，过渡区域会有明显的撕裂感；如果把两张图各自拆成金字塔，在每一层单独融合再重建回去，过渡就自然得多。这个技巧后面我会详细演示。
所以金字塔不是一个炫技的数据结构，而是多尺度算法的基础设施。而pyrDown和pyrUp就是搭建和拆解这种结构的两把最基础的工具。
2. 降采样pyrDown：多了一层高斯模糊才动手
2.1 操作流程与5x5高斯核
cv2.pyrDown做的事，一句话概括就是：先对图像做高斯模糊，再隔行隔列抽走一半像素。为什么要多此一举先模糊？这就要说到一个叫混叠（aliasing）的现象。
想象你站在很远处看一栋建筑的百叶窗。百叶窗的间距本来就很小，如果直接每隔一条抽掉一半的线条去“模拟”更没有细节的画面，那些密集的条纹就会变成奇怪的波形，甚至出现一圈一圈的摩尔纹。图像也一样，直接采样而不做任何预处理，高于新分辨率上限的高频信息就会折叠到低频区域，变成你看到的那些波纹和锯齿。
加上高斯模糊，本质上是先做一个低通滤波，把那些“原本就快要看不清”的细小纹理提前抹掉，然后再安全地抽走一半像素。这样一来缩小的图像虽然损失了一部分高频细节，但保留的信息都是真实可靠的，不会产生假的纹路。我看过很多初学者直接拿img[::2, ::2]做降采样，这种写法尺寸确实减半了，但图像会严重闪烁抖动，原因就是没有这一步模糊。
OpenCV 里默认用的高斯核就是那个经典的 5×5 近似模板：
1 4 6 4 1 4 16 24 16 4 6 24 36 24 6 4 16 24 16 4 1 4 6 4 1整个核的总和是 256，用之前统一除以 256。这组系数并不是拍脑袋写出来的，它是二维高斯函数的离散近似。中心位置的 36 权重最高，周围逐渐衰减，正好用来把中心像素周围的环境信息揉在一起。
2.2 手动实现一份并验证结果
如果不用 API，纯手工来实现pyrDown其实也不复杂。下面这段 Python 代码把它拆成了两个清晰步骤：
import cv2 import numpy as np gaussian_kernel = np.array([ [1, 4, 6, 4, 1], [4, 16, 24, 16, 4], [6, 24, 36, 24, 6], [4, 16, 24, 16, 4], [1, 4, 6, 4, 1], ], dtype=np.float64) / 256.0 def my_pyr_down(img): # 第一步：高斯模糊 blurred = cv2.filter2D(img, -1, gaussian_kernel, borderType=cv2.BORDER_REFLECT101) # 第二步：隔行隔列采样 return blurred[::2, ::2] # 验证：与 OpenCV 内置函数对比 img = cv2.imread('some_photo.png', cv2.IMREAD_GRAYSCALE) official = cv2.pyrDown(img) manual = my_pyr_down(img).astype(np.uint8) print(np.abs(official.astype(int) - manual.astype(int)).mean())我自己跑下来的平均绝对误差通常在 0.2 左右，可以说视觉上几乎一模一样。原因很简单：OpenCV 内部做的也就是“卷积+隔点采样”，只不过它对边界像素采用了反射填充，系数处理得也更讲究一些。
这段代码也提醒了初学者一件事：filter2D里borderType不要选默认的零填充。图像边缘像素其实也有邻居，用零填充会让边缘一圈颜色发暗。用BORDER_REFLECT101或者BORDER_REFLECT效果会好很多。
2.3 尺寸计算与奇数尺寸的坑
pyrDown的输出尺寸问题值得单独拿出来讲。很多人以为是简单的w/2和h/2，但OpenCV官方计算方式实际上是：
输出宽 = (原宽 + 1) / 2 输出高 = (原高 + 1) / 2这里的除法是整数除法。也就是说，奇数尺寸不会像你想的那样把最后一列直接扔掉，而是保住了它：5 像素宽的图降采样后是 3 像素宽，而不是 2 像素宽。看个例子就明白了：
img = cv2.resize(img_original, (127, 65)) down = cv2.pyrDown(img) print(down.shape) # 输出 (33, 64) # (65 + 1) // 2 = 33 # (127 + 1) // 2 = 64这个细节看起来不起眼，但构建拉普拉斯金字塔的时候它就是最大的坑。原因很好理解：如果你先降采样再上采样，尺寸链条很容易对不上。比如 5×5 的图，pyrDown得到 3×3，再pyrUp得到 6×6，原始尺寸是 5，现在变成了 6，怎么都回不去了。
所以我有两个习惯：第一，做金字塔相关操作之前，先把图片resize到偶数尺寸；第二，如果实在没法统一偶数，就会显式给上采样指定dstsize参数，强行对齐。第二个习惯后面讲拉普拉斯金字塔重建时还会再见到。
3. 上采样pyrUp：插零卷一卷，不等于放大恢复
3.1 操作流程与插零机制
cv2.pyrUp和pyrDown看着像一对互逆操作，其实逻辑完全不同。上采样不是把每个像素掰成两个，而是分两步走：第一步先在原始像素之间插满零像素，得到一个长宽各放大两倍、但有一半像素是黑点的图像；第二步再用高斯核做卷积，让这些零点周围的信息扩散过去，填充成平滑的过渡值。
直接用代码演示更直观：
def my_pyr_up(img): h, w = img.shape[:2] up = np.zeros((h * 2, w * 2), dtype=np.float64) up[::2, ::2] = img # 原图像素放到偶数行偶数列 # 卷积核：这里用和降采样一样的5x5核，但权重总和必须翻4倍 up_kernel = gaussian_kernel * 4.0 expanded = cv2.filter2D(up, -1, up_kernel, borderType=cv2.BORDER_REFLECT101) return expanded把原图像素放到偶数坐标之后，奇数坐标上的零值会让图像看起来像一张稀疏的星空图。通过卷积，每个像素会把颜色“贡献”给周围一圈邻居，几轮扩散之后，空洞就被自然填充了。这就是为什么上采样出来的图像总是显得有些“肉”，没有那么锐利——因为那些新增的像素本来就不是真实存在的细节，而是周围像素的加权平均。
3.2 为什么卷积核要乘4
注意上面代码里有个关键点：同样的 5×5 高斯核，在pyrUp里要整体乘以 4，也就是核内所有数字的总和从 256 变成了 1024。这件事的原理值得展开说。
降采样时，输出图像面积变成原来的四分之一，但每个像素的能量密度没有变，所以核的总和是 1 就够。上采样时完全相反：图像面积扩大四倍，但一开始只有四分之一的位置有非零像素，整个画面的总能量变成了原来的四分之一。如果不做补偿，卷积之后图像会明显变暗，数值整体往下掉。
乘 4 就是为了把能量密度恢复到原图的水平。你可以在代码里做个小实验：分别用乘 4 和不乘 4 的核去跑pyrUp，然后打印输出图像的平均灰度。不乘 4 的那张图平均灰度大约是原图的四分之一，肉眼看去整体黑了一截。很多人从原理文章里抄代码，没注意到这个小系数，结果上采样图像总是偏暗，还以为是显示问题。
3.3 为什么pyrUp永远找不回pyrDown丢掉的细节
把pyrDown和pyrUp连在一起做一次：
down = cv2.pyrDown(img) restored = cv2.pyrUp(down)如果img是偶数分辨率，尺寸可以正好恢复，但restored比img模糊很多。这背后是一个信息论层面的原因：pyrDown里那个高斯模糊，已经把高于新分辨率上限的高频信息彻底抹掉了，这一步是不可逆的。高斯核是低通滤波，抹掉的高频信号没有留在任何地方，后续的上采样只能从保留下来的低频信息里“猜”出一个更平滑的画面。
打个比方，pyrDown相当于把一本文档里的脚注全部撕掉，pyrUp只能根据正文大意重新想象脚注内容，无论如何都不可能和原来一模一样。这就是为什么图像放大用cv2.resize甚至深度学习超分辨率都只能“重建”细节，而不是“找回”细节。理解了这一点，你也就理解了为什么金字塔重建时需要一个额外的拉普拉斯金字塔来保存那些被删掉的“脚注”。
4. 高斯金字塔与拉普拉斯金字塔：构建、重建一条龙
4.1 先搭高斯金字塔
要真正发挥金字塔的威力，不能只停留在单次pyrDown上，而是要把一整组不同分辨率的图像建起来，这就是高斯金字塔：
def build_gaussian_pyramid(img, levels): pyramid = [img.copy()] for _ in range(levels - 1): pyramid.append(cv2.pyrDown(pyramid[-1])) return pyramid img = cv2.imread('some_photo.png', cv2.IMREAD_GRAYSCALE) gaussian_pyr = build_gaussian_pyramid(img, 5)这个操作本身没有任何玄机，无非是拿着pyrDown一层一层套上去。需要注意的只有一点：如果中间某层尺寸奇数，再往下一层就会发生尺寸漂移。所以很多严肃项目里会在一开始就把图像resize成 2 的整数次幂，比如 512×512、1024×2048，保证金字塔搭建过程干干净净。
4.2 拉普拉斯残差层怎么存细节
高斯金字塔每一层存的是“模糊+缩小”之后的结果，这也就意味着每一层都丢失了某些高频信息。拉普拉斯金字塔的想法非常朴素：我不但要存模糊后的图像，还要存每一步丢失了多少细节。
做法是这样：对高斯金字塔的第 i+1 层做pyrUp，让它恢复到第 i 层一样的尺寸，然后用第 i 层原始图像减去这个恢复结果。得到的差就是这一层的高频残差，也叫拉普拉斯残差。把所有残差按顺序存下来，再加上最后一层最小的高斯图，就可以无损还原原始图像。
代码长这样：
def build_laplacian_pyramid(gaussian_pyr): laplacian_pyr = [] for i in range(len(gaussian_pyr) - 1, 0, -1): size = (gaussian_pyr[i - 1].shape[1], gaussian_pyr[i - 1].shape[0]) up = cv2.pyrUp(gaussian_pyr[i], dstsize=size) residual = cv2.subtract(gaussian_pyr[i - 1], up) laplacian_pyr.append(residual) laplacian_pyr.append(gaussian_pyr[-1]) return laplacian_pyr注意这里我给pyrUp传了显式的dstsize，目的是强制上采样结果和目标层尺寸完全一致。如果你省略这个参数，OpenCV 默认会输出两倍尺寸的结果，奇数尺寸下两边就差了一两个像素，cv2.subtract会因为尺寸不匹配直接报错。这个参数位置特别容易填错：dstsize接收的是(width, height)也就是(列数, 行数)，和 numpy 常用的(h, w)正好相反。
残差图在可视化时很有意思：它看起来像一张灰度接近 128 的底片，只在物体边缘有亮暗变化。这恰恰说明低频信息都被高斯金字塔那几层存掉了，拉普拉斯金字塔只负责记忆那些锐利的线条和轮廓。
4.3 重建验证与精度观察
有了残差层，重建过程就是反向操作：
def reconstruct_from_laplacian(laplacian_pyr): # 注意：build_laplacian_pyramid 返回顺序是从小层到大层 current = laplacian_pyr[0] for i in range(1, len(laplacian_pyr)): size = (laplacian_pyr[i].shape[1], laplacian_pyr[i].shape[0]) current = cv2.pyrUp(current, dstsize=size) current = cv2.add(current, laplacian_pyr[i]) return current如果图像分辨率是偶数，并且所有加减操作都发生在float64空间而不是uint8空间，重建结果和原始图像之间几乎没有肉眼可辨的差异。我自己测试过一张 512×512 的图像，平均绝对误差只有 0.03 左右，基本等于无损。
但如果你直接在uint8空间里做减法，就很容易出问题：像素值低于 0 会被截断成 0，高于 255 会被截断成 255，那些截断掉的能量在重建时找不回来，图像上会多出一些淡淡的伪轮廓。正确做法是把图像转成float64再做金字塔运算，最后统一clip回 0~255 再转uint8。这一步建议养成习惯，因为很多图像金字塔应用（比如融合）都依赖这个精度。
5. 项目实战里的金字塔应用与避坑经验
5.1 融合不同清晰度图像的金字塔思路
说一个我实际做过的场景：有两张照片，一张对焦在前景的茶杯，一张对焦在背景的书架，想把它们合成一张前后景都清晰的照片。直接在原始像素上做线性融合会出现明显的“重影”和过渡断层，因为两张图在边缘处无法对齐，直接平均等于把两个不同焦距的成像混在一起，边缘会发虚。
用拉普拉斯金字塔做这个工作非常顺手。基本套路是：
- 把两张图都构建成 5 层的拉普拉斯金字塔。
- 对每一层的残差图，根据掩膜或权重做一次混合，比如前景区域多取茶杯那张图的信息，背景区域多取书架那张图的信息。
- 混合后的拉普拉斯金字塔从头到尾重建一次。
这么做的好处是：图像被分解成了不同频率的层次，每一层的融合可以独立控制。大结构在底层平滑过渡，边缘细节在高层按清晰度取舍，最终重建出来的图像过渡自然，没有明显的拼接感。这段逻辑听着复杂，但核心也就是上面那一组build_laplacian_pyramid和reconstruct_from_laplacian函数来回用，实际编码量并不大。
5.2 多尺度检测时金字塔的搭建顺序
另一个常见场景是目标检测和模板匹配。某个项目里需要在航拍图上找出特定尺寸的目标物体，但飞行高度不一样，目标在画面里的大小也完全不一样。固定一个模板尺寸显然不够用。
最直接的做法是把待检测图像建成金字塔，让模板在每一层上滑动匹配。这里我的经验是：金字塔层与层之间不要只靠pyrDown一个函数走到黑，因为连续多次pyrDown会让高层图像变得非常平滑，某些纹理特征反而消失了。更稳妥的方案是把原始图像先降到 2 的整数幂尺寸，然后每层之间交替使用pyrUp和pyrDown微调，保证任何目标尺寸都能在某一层对应到合理范围的像素数量。
另外，多尺度检测的性能开销比想象中要大。一张 4000×3000 的图建立 5 层金字塔，耗时主要在高斯卷积上。如果只是做粗检测，可以考虑只对金字塔的奇数层做匹配，减少一半计算量；等初步定位到候选框之后，再回到底层高分辨率精细确认。我现在做这类任务基本都按这个节奏来，能省不少时间。
5.3 实测中常见的几个坑和我的处理习惯
把pyrDown和pyrUp用在真实项目里，以下几个问题出现频率最高，几乎每次都能踩到，索性分享出来：
第一个坑就是奇数尺寸漂移。这个前面反复强调过，症状是最底层和最高层尺寸总是对不上，程序报Sizes of input arguments do not match。处理办法我通常分两步：先判断宽高是否偶数，不是就先resize，条件允许就直接pad成偶数尺寸，处理完再裁回来。
第二个坑是数据类型。pyrDown输入和输出都是uint8，逻辑上没问题；但一旦你手动把图像转成float64来做滤波，像素的取值范围就从 0~255 变成了浮点范围，如果在中间用uint8的 API 混着操作，很容易出现截断伪影。我的建议是金字塔相关代码里统一用浮点计算，只在最终显示或保存时转回uint8。
第三个坑是把pyrUp和cv2.resize混为一谈。两个函数都能放大图像，但行为差别很大。cv2.resize是直接对现有像素做插值，放大之后画面保留更多锐利感；pyrUp自带低通滤波，放大后明显更平滑。如果你只是单纯要把图片变大一点，用resize更合适；如果你需要的是金字塔层级之间的衔接，才用pyrUp。我在早期做项目时就在这两者之间摇摆过，后来总结出的经验是：先问自己是想要“一张更大的图”，还是想要“金字塔的下一层”。
第四个坑涉及性能。不要在主循环里对每一帧视频都建立 5 层完整金字塔，尤其是还包含拉普拉斯层的时候，计算量相当可观。实测下来，如果只做目标检测，2～3 层金字塔通常足够；如果是图像融合或重建，才需要考虑更深的层数。金字塔不是越深越精确，层数越深，底层被高斯模糊破坏的原始信息就越多，重建精度反而可能下降。适可而止，够用就好。
我自己的项目里，金字塔最终很少被当成单一函数来调用，更多时候是嵌在一个完整的处理管线里：先是预处理统一到偶数尺寸，然后建立高斯金字塔做多尺度候选提取，再用拉普拉斯金字塔处理边缘细节，最后把所有结果组合回原始分辨率。这一套流程跑顺之后，再回头去看pyrDown和pyrUp这两个函数，你会发现它们单独用都很简单，但真正让它们有价值的，是金字塔结构带来的层级化思考方式——先看大结构，再逐层补细节，处理图像如此，处理很多复杂问题也如此。
