基于图像处理与机器学习的水浑浊度预测系统实现

简介：水浑浊度预测研究常需综合图像特征与机器学习建模，此压缩包正面向此类需求，提供一套基于图像处理与机器学习的水浑浊度预测系统实现。系统通过Python读取水体图像并截取有效区域，提取RGB三通道一、二、三阶颜色矩作为特征，进而训练人工神经网络、线性回归和K近邻等模型，并搭建Flask+HTML/CSS/JavaScript的Web上传预测界面，适合高校学生、科研人员和开发者用于课程设计、毕业设计或水质监测项目预研。资源包共含53个文件，大小4.68MB，主要类型包括Python源码、ipynb交互式分析笔记、训练好的pkl模型、csv数据集以及前端界面文件，覆盖从数据预处理、特征提取、模型训练到系统部署的完整链路。目前已有206人学习，可供参考。内含可运行的ANN、线性回归、KNN模型与相关测试训练数据，自定义颜色矩计算函数清晰易扩展，Web界面支持上传图片即时预测，便于快速验证和二次开发。整体结构紧凑、依赖明确，是理解图像特征与机器学习结合处理水质问题的实用参考。

1. 水浑浊度预测为什么要把图像处理和机器学习放在一起

浑浊度是描述水中悬浮颗粒对光线阻碍程度的指标，单位NTU。传统做法是用浊度计打一束光穿过水样，靠光电传感器读数；而基于图像处理和机器学习的水浑浊度预测，是把摄像头当作传感器，用普通照片里的颜色、纹理变化反推浑浊度。很多实验室和工业场景对绝对精度要求不高，却对成本、连续监测和批量筛选有强烈需求，这个方向才值得投入。

从图像采集规范、OpenCV预处理、特征提取，到机器学习建模和现场校准，这是一条可操作的落地路径。环境用Python、OpenCV、scikit-learn即可，不需要专用浊度计和昂贵光路。适合正在做水质监测课题的同学，也适合想把手持拍照测浑浊度做成小系统的工程师。

2. 图像处理与水样图像采集规范

2.1 图像法预测浑浊度的原理与边界

浑浊度的本质是悬浮颗粒对光的散射和吸收。浊度计测的是散射光强，图像法记录的是水样表面或透过水层的亮度分布。悬浮物越多，水体透光率下降，颜色饱和度变化，局部纹理也会变得粗糙，这些信息都藏在图像的像素统计里。

需要注意边界条件：当浑浊度大于100 NTU以后，图像整体颜色接近饱和，继续增加颗粒浓度时像素变化趋缓，模型精度迅速下降。另一个问题是图像法对粒径敏感。细颗粒的散射和粗颗粒的散射在照片上呈现的纹理完全不同，如果数据集里粗细颗粒混杂，模型更容易学成“平均粒径”而不是纯浊度。因此做系统实现时，需要在样本标注里同时记录来源水体类型，防止预测模型在更换水源后失效。

2.2 采集装置的参数选型

先统一采集环境，再来谈模型。建立采集平台时，不要让自然光进入拍摄区域。自然光色温在一天内变化幅度巨大，训练数据里混入不同色温会导致颜色特征毫无意义。常见做法是用封闭的亚克力箱，顶部装LED平面灯，灯光经过磨砂扩散板照射水样，摄像头向下垂直拍摄。

采集样本时，倒进水样后静置10到30秒，等气泡上浮并破裂后再拍。气泡在图像上表现为高亮圆点，其灰度特征和悬浮颗粒混淆，会严重干扰纹理特征提取。每次取样的液面高度也要一致，液面位置变化会改变杯壁与水交界的反光形状，这类图像即使模型能拟合，换一次拍摄角度就失效。

2.3 OpenCV预处理固定流程

图像处理的完整链路，从原始照片到可入模特征，需要先经过预处理。以下代码是固定流程，后续特征提取都基于它输出。

import cv2 import numpy as np def load_and_preprocess(image_path, target_size=(224, 224)): # 读取图片，颜色顺序为BGR img = cv2.imread(image_path) # 统一尺寸，用INTER_AREA避免缩小后出现摩尔纹 img = cv2.resize(img, target_size, interpolation=cv2.INTER_AREA) # 3x3高斯滤波，滤除传感器噪点 blur = cv2.GaussianBlur(img, (3, 3), 0) # 转HSV，供后续颜色特征使用 hsv = cv2.cvtColor(blur, cv2.COLOR_BGR2HSV) # 转成float并归一化到0~1，避免整数溢出 bgr_norm = blur.astype(np.float32) / 255.0 hsv_norm = hsv.astype(np.float32) / 255.0 return bgr_norm, hsv_norm

预处理逻辑说明：cv2.imread读出来的是BGR顺序，后续如果要用matplotlib显示时需要转RGB，但作为机器学习特征不必转，保持通道顺序一致即可。resize使用INTER_AREA插值，缩小图像时能较好保留区域平均亮度，避免出现像素锯齿；如果图像分辨率相差很大，比如有的样本是4000×3000，有的只有640×480，最好先按液面区域裁剪再resize，否则两者包含的物理范围不同，特征天然存在差异。

参数修改建议：target_size不一定要224×224。如果主要特征是颜色均值，走128×128即可；如果依赖GLCM纹理特征，建议至少256×256，因为灰度共生矩阵在分辨率过低时统计不稳定。高斯滤波的核也不是越大越好，3×3对大多数水质图像足够，5×5虽然更平滑，但会损失细颗粒造成的细节纹理。

提示：预处理结果应保存为numpy数组直接进特征提取，不要反复重新读取原图，避免色彩空间转换不一致。

3. 基于图像处理的特征提取与样本质量清洗

3.1 颜色统计特征的计算

水样在低浑浊度时基本透明，高浑浊度时颜色变深。假设水样本身颜色固定，BGR三通道均值和标准差的数值变化就与浑浊度呈现强相关。以实际数据来看，G通道均值下降最快，B通道次之，R通道变化相对平缓，这是水体颗粒对短波长光的散射作用更强所致。

def extract_color_features(bgr_norm, hsv_norm): f = {} # BGR通道统计 for i, name in enumerate(["B", "G", "R"]): ch = bgr_norm[:, :, i] f[f"{name}_mean"] = float(ch.mean()) f[f"{name}_std"] = float(ch.std()) # HSV通道统计 for i, name in enumerate(["H", "S", "V"]): ch = hsv_norm[:, :, i] f[f"{name}_mean"] = float(ch.mean()) f[f"{name}_std"] = float(ch.std()) return f

举例说明，同一批样本中5 NTU水样的R均值往往在0.5左右，50 NTU时下降到0.3以下，但S通道均值会从0.1抬升到0.45。一个只依赖灰度的模型会丢掉这种颜色趋势，这也是把特征建立在多色彩空间的主要原因。

3.2 纹理特征与水浑浊度预测的关联

颜色统计只解决了总体明暗，悬浮颗粒较大会让图像上出现局部的亮度起伏，这类信息要用纹理特征才能体现。研究中使用灰度共生矩阵GLCM是常用做法，它统计两像素点在指定方向和距离上灰度共同出现的频率，进而计算对比度、能量和同质性。浑浊度升高时颗粒增多，图像局部对比度上升，GLCM对比度随之增大，能量下降。

from skimage.feature import graycomatrix, graycoprops def extract_glcm_features(bgr_norm): # 重新转成8位灰度图，GLCM需要整数输入 gray = cv2.cvtColor((bgr_norm * 255).astype(np.uint8), cv2.COLOR_BGR2GRAY) # 量化到16个灰度级，避免矩阵太稀疏 gray_q = (gray // 16).astype(np.uint8) glcm = graycomatrix( gray_q, distances=[1], angles=[0, np.pi / 4, np.pi / 2, 3 * np.pi / 4], levels=16, symmetric=True, normed=True ) feats = {} for idx, angle in enumerate([0, 45, 90, 135]): feats[f"contrast_{angle}"] = graycoprops(glcm, "contrast")[0, idx] feats[f"energy_{angle}"] = graycoprops(glcm, "energy")[0, idx] feats[f"homogeneity_{angle}"] = graycoprops(glcm, "homogeneity")[0, idx] # 四个方向取平均，得到方向无关的最终特征 feats["contrast_mean"] = np.mean([feats[f"contrast_{a}"] for a in [0, 45, 90, 135]]) feats["energy_mean"] = np.mean([feats[f"energy_{a}"] for a in [0, 45, 90, 135]]) return feats

逻辑说明：gray // 16把0到255的灰度压缩到0到15，用16级GLCM。级数越多信息保留越多，但样本量不大时矩阵稀疏，求出的属性会跳动明显，16级是折中。角度的四个方向都算一遍再取平均，可以减弱液面反光带来的方向性偏差。

参数建议：这里只计算距离为1的GLCM，也就是相邻像素的变化，适合描述细小颗粒物。如果研究对象的絮凝体比较大，比如污水处理厂加药后的絮体，建议把distances改成[1, 3, 5]分别提取，测试粒度对预测值的影响。

3.3 特征合并与样本清洗标准

做完两组特征提取后，把字段拼成一张宽表。颜色统计有12个字段，GLCM有12个字段，合并后24个特征。如果还额外提取了图像清晰度、灰度直方图峭度、液面高光占比等特征，字段会更多，但核心判断标准是：特征数量不超过样本量的十分之一，否则过拟合风险急剧上升。

合并代码可以根据文件名解析出真实浑浊度值，拼入DataFrame。

import pandas as pd import re def build_feature_dataset(image_paths): rows = [] for path in image_paths: bgr, hsv = load_and_preprocess(path) f = extract_color_features(bgr, hsv) f.update(extract_glcm_features(bgr)) # 从文件名提取NTU值，支持两种常见格式 m = re.search(r"ntu([\d.]+)", path, re.IGNORECASE) f["ntu"] = float(m.group(1)) if m else float(path.split("_")[-1].replace(".jpg", "")) rows.append(f) return pd.DataFrame(rows)

识别异常样本时，重点看两个指标：一是整图的灰度标准差，若超过全体均值的三倍，八成是对焦失误或反光污染；二是S通道均值异常偏高，往往说明水样中有大量气泡或杯子外壁粘了水滴。这些样本即使能跑通流程，也应该在建模前删掉，不在模型里处理。

4. 水浑浊度预测机器学习模型的训练与评估

4.1 候选模型横向对比与选择依据

样本量通常在几百张到几千张，这种规模下不建议一开始就上深度学习。我一般让三个模型同时跑基线：线性回归、随机森林回归、XGBoost回归。

线性回归用来验证特征与浑浊度之间是否存在近似线性关系；如果线性模型在验证集上的R²已超过0.9，那说明颜色均值就够用了。随机森林是研究中常用的机器学习分类器与回归器，对特征尺度不敏感，能自动处理非线性关系和特征交互，适合作为基准模型。XGBoost在中小数据集上通常能比随机森林再提升一点精度，代价是超参数更多、调参成本更高。

如果样本量确实超过5000，可以考虑一两层的MLP回归网络，但数据量不足时MLP的表现往往不如梯度提升树，没必要为了用深度学习而牺牲精度。

4.2 训练闭环与关键参数

代码按照“先切分、再标准化、最后训练”的顺序执行，防止数据泄漏。

from sklearn.model_selection import train_test_split from sklearn.preprocessing import StandardScaler from sklearn.ensemble import RandomForestRegressor from sklearn.metrics import mean_absolute_error, mean_squared_error, r2_score import numpy as np # 载入特征数据，名称见上一章 build_feature_dataset # df = build_feature_dataset(image_paths) # 用互信息筛选候选特征，过滤噪声维度 from sklearn.feature_selection import mutual_info_regression mi = mutual_info_regression(df.drop(columns=["ntu"]), df["ntu"], random_state=42) selected = df.drop(columns=["ntu"]).columns[(mi > np.quantile(mi, 0.2))].tolist() X = df[selected] y = df["ntu"] X_train, X_test, y_train, y_test = train_test_split( X, y, test_size=0.2, random_state=42 ) scaler = StandardScaler() X_train_s = scaler.fit_transform(X_train) X_test_s = scaler.transform(X_test) model = RandomForestRegressor( n_estimators=300, max_depth=12, min_samples_leaf=3, random_state=42, n_jobs=-1 ) model.fit(X_train_s, y_train) pred = model.predict(X_test_s) print(f"MAE = {mean_absolute_error(y_test, pred):.3f} NTU") print(f"RMSE = {mean_squared_error(y_test, pred):.3f} NTU") print(f"R2 = {r2_score(y_test, pred):.3f}")

逻辑说明：mutual_info_regression的作用是先筛掉与浑浊度关系很弱的特征，比如某些角度的GLCM能量。在样本量小的时候，特征多并不一定好，先降到10维左右，模型稳定性会明显提升。随机森林的max_depth=12防止树过深导致训练集完全拟合；如果发现测试MAE远高于训练MAE，把深度降到8或10。

参数说明：n_estimators增大到500以上收益很小，min_samples_leaf保持在2到5之间比较稳妥。另一种常见误用是拿全部24个特征直接进模型，如果样本只有200张，树的深度又高，几乎必然过拟合。

4.3 分区误差分析与交叉验证

单一测试集误差会掩盖很多问题。按浑浊度区间分组统计误差，是实测里必做的一步。下表是一组地表水样本的典型结果：

这张表提示一个关键事实：图像法在中低浊度段最有价值，高浊度段只适合做超标判断。若业务需求集中在中低浊度段，真正的优化方向应是增加低浊度段的样本分布，而不是堆模型复杂度。

交叉验证可以验证模型在不同数据划分下的稳定性，代码里每个fold都要独立做标准化：

from sklearn.model_selection import KFold kf = KFold(n_splits=5, shuffle=True, random_state=42) mae_list = [] for train_idx, val_idx in kf.split(X): X_train_f, X_val_f = X.iloc[train_idx], X.iloc[val_idx] y_train_f, y_val_f = y.iloc[train_idx], y.iloc[val_idx] scaler_f = StandardScaler() X_train_f = scaler_f.fit_transform(X_train_f) X_val_f = scaler_f.transform(X_val_f) m = RandomForestRegressor(n_estimators=300, max_depth=12, n_jobs=-1) m.fit(X_train_f, y_train_f) pred_f = m.predict(X_val_f) mae_list.append(mean_absolute_error(y_val_f, pred_f)) print(f"5折MAE: {np.mean(mae_list):.3f} ± {np.std(mae_list):.3f} NTU")

这里必须强调：不能在整体数据集上先做一次StandardScaler.fit()，再在各折内transform，这会引入未来数据的信息，导致交叉验证结果虚高。实际部署时模型使用的scaler也必须来自训练折，与推理时的特征处理完全一致。

注意：保存模型时把scaler和selected特征列表一起用joblib.dump打包，否则线上推理会因字段顺序不一致而出错。

5. 预测系统落地的验证与校准

5.1 现场对照测试策略

系统部署后，需要和标准浊度计做一轮对照。操作步骤：准备6个梯度不同的水样，每个水样先用浊度计测3次取平均，再拍照输入模型预测。把对照结果做成散点图，看是否存在系统偏差。如果预测值整体偏高或偏低，不要马上重训模型，先检查图像亮度与训练集平均亮度是否一致；光照不足或过量会产生固定方向的偏差，通过线性校准就能恢复。

5.2 光源漂移的容忍判断与校准手法

实际环境里，LED光源长时间工作后亮度会衰减，摄像头镜片也可能附着水雾。针对这个情况，在画面角落里放一块灰色参考色卡，每次预测前检查色卡区域的平均亮度。

def check_reference_brightness(frame, expected=128.0, tol=15.0): # frame是当前摄像头帧，参考色卡区域假定在左上角 ref = frame[10:40, 10:40].mean() if abs(ref - expected) > tol: return False, ref return True, ref

逻辑说明：expected是设备标定时记录的正常亮度，tol取15表示允许的漂移范围。超过这个范围说明光源或镜头状态变化过大，此时系统的预测结果不应直接用于业务判断，需要先重新做亮度校准。

只要系统没有更换镜头和光源，只是亮度衰减，处理可以很简单：用新采集的若干已知浑浊度样本，重算亮度均值并把scaler里的mean_和scale_替换掉，就能修正大部分系统性误差。但如果更换了摄像头型号，不同传感器的光谱响应差异明显，必须重新采集小规模数据集做微调，不能沿用旧模型。把参考色卡检测和亮度报警接进监控页面，现场值班人员看到环境漂移警告时先清理镜头或调整光源，而不是直接怀疑模型，这套预测系统才算真正闭环。

本文还有配套的精品资源，点击获取