工业AI落地实战：CNN与Transformer混合架构设计与TensorFlow部署

1. 这不是教程，是我在工业级模型落地现场撕下来的笔记

Python、Tensorflow、Keras、CNN、Transformer——这五个词摞在一起，不是教科书目录，而是我过去三年在三家不同行业公司做AI落地时，每天打开IDE前必敲的启动命令。你看到的“（一）”不是系列开篇，是我在产线边缘设备上跑通第一个实时缺陷检测模型后，凌晨三点保存的本地草稿命名。当时GPU显存只剩12%，日志里满屏OOM报错，而客户产线明天一早就要验收。

这不是教你从零搭建玩具模型。我要讲的是：当CNN遇上真实产线图像——油污、反光、低分辨率、标注噪声；当Transformer塞进只有2GB内存的嵌入式盒子——怎么把ViT的12层压缩成3层还保住92%准确率；当Keras的Sequential API在多模态数据流里突然卡死——你得知道底层Graph模式哪根线松了；当Tensorflow 2.x的Eager Execution让你写代码像写Python一样爽，却在部署时发现SavedModel体积暴涨3倍——问题不在代码，在tf.function装饰器里漏掉的一个shape约束。

我见过太多人把Keras当成高级封装，直到模型在测试集上AUC 0.98，上线后F1直接掉到0.61。原因？训练时用ImageDataGenerator做的随机裁剪，和产线摄像头固定焦距拍出来的画面根本不是同一分布；Transformer位置编码用的正弦函数，但传感器采样频率每小时漂移0.3Hz，导致时序对齐失效。这些坑不会出现在任何官方文档里，只长在真实数据的褶皱里。

如果你刚学完吴恩达课程，正对着MNIST手写数字沾沾自喜；如果你在Kaggle上拿过银牌，却搞不定客户给的500张模糊X光片；如果你能背出Transformer的QKV公式，但调不出batch_size=1时的推理延迟——这篇就是为你写的。它不讲“什么是卷积”，只告诉你为什么在金属表面缺陷检测中，3×3卷积核比5×5更抗反光干扰；不解释self-attention机制，只展示如何用Tensorflow的tf.keras.layers.MultiHeadAttention重写，让工业相机1080p@60fps的视频流能在Jetson AGX Orin上实时处理。

工具链选型不是玄学。Python是唯一选择，因为产线PLC通信库、设备SDK、报表生成模块全都是Python写的；Tensorflow不是因为比PyTorch“更好”，而是客户指定的华为昇腾芯片只支持TF 2.10+的CANN驱动；Keras不是图省事，是它的Functional API能让你在同一个模型里，左边接CNN处理红外热成像，右边接Transformer处理振动频谱，中间用Lambda层做物理量纲归一化——这种混搭架构，纯用tf.keras.layers写出来，调试时间能少一半。

现在，关掉所有教程网页，删掉你本地那个叫“my_first_cnn.py”的文件。我们从第一行真正要跑起来的代码开始。

2. 架构选型背后的血泪账本：为什么CNN和Transformer必须共存

2.1 CNN不是过时技术，是工业视觉的“肌肉记忆”

很多人以为CNN被Transformer取代了，这是把学术论文当生产手册的典型误区。在我经手的17个工业视觉项目里，CNN承担着不可替代的底层角色：

• 像素级保真需求：PCB板缺陷检测要求亚像素级定位，U-Net这类CNN架构的逐层上采样能精确到单个焊点边缘，而ViT的patch embedding会丢失局部连续性。实测对比：同样检测0.1mm锡珠短路，ResNet50+FPN的定位误差±0.8像素，ViT-Base的误差±3.2像素。

• 小样本鲁棒性：某汽车零部件厂只提供47张合格品图像，要求检测12类微小划痕。用CNN做迁移学习（ImageNet预训练+微调），在验证集上F1=0.83；用ViT从头训练，F1仅0.51。原因？CNN的局部感受野天然适配小目标，而ViT需要大量数据学习空间先验。

• 硬件友好性：在国产寒武纪MLU270芯片上，一个优化后的MobileNetV2推理耗时23ms，而同等精度的ViT-Tiny耗时89ms。关键差异在计算模式：CNN的卷积操作能被MLU的矩阵乘法单元高效并行，ViT的Attention矩阵运算触发大量片外访存。

提示：别迷信“更大模型=更高精度”。在某钢铁厂表面裂纹检测项目中，我们把ResNet18换成ResNet50，参数量增3倍，但产线误报率反而上升17%——因为更深网络对轧制过程中的水渍反光更敏感。最终方案是ResNet18+定制化注意力门控（Custom Attention Gate），在骨干网络最后两层插入轻量级SE模块，既保持速度又提升判别力。

2.2 Transformer不是万能钥匙，是时序与关系建模的“手术刀”

Transformer的价值不在图像分类，而在解决CNN难以处理的三类问题：

• 长程依赖建模：风电叶片超声波检测中，缺陷往往呈带状分布，跨越数百个像素。CNN受限于感受野，需堆叠12层才能覆盖，而ViT仅需2层就能建模全局关联。我们用ViT替换原CNN的最后全连接层，将叶片分段检测的召回率从0.76提升至0.89。

• 多源异构数据融合：某锂电池产线需同时分析X射线图像（2D）、电化学阻抗谱（1D时序）、环境温湿度（标量）。CNN只能处理图像，而Transformer的Embedding层可统一编码：图像patch→linear projection，频谱点→learnable position encoding，标量→scalar embedding，再送入同一Encoder。这套方案使电池微短路预测AUC从0.81升至0.94。

• 动态推理路径：传统CNN对所有输入执行固定计算流。而Transformer可通过Gating机制实现条件计算。在安防监控场景中，我们设计了一个Dynamic ViT：当检测到画面中有人体运动时，激活全部12层；静止画面则只运行前4层+Early Exit分支。实测功耗降低63%，延迟稳定在18ms。

注意：Transformer的Position Encoding不是装饰品。某医疗影像项目中，原始ViT用正弦编码，但在CT重建图像上效果差——因为CT切片有严格物理坐标系。我们改用可学习的2D位置编码（shape=[H, W, D]），并将坐标信息作为额外输入通道，mAP提升12.3%。

2.3 为什么必须混搭？——一个真实产线案例拆解

某半导体晶圆厂的AOI检测系统，需同时完成三项任务：

• 任务1：识别晶圆表面纳米级颗粒污染（CNN强项）
• 任务2：判断划痕走向是否符合工艺规范（Transformer建模方向关系）
• 任务3：预测该晶圆后续蚀刻工序的良率（需融合前两项结果）

纯CNN方案失败原因：

• 颗粒检测分支输出特征图尺寸为[128,128,256]，划痕分析需提取方向特征，但CNN池化操作破坏了空间方向性
• 良率预测需理解“颗粒数量+划痕角度+分布密度”的联合影响，CNN的全连接层无法显式建模变量间逻辑关系

纯Transformer方案失败原因：

• 将整张晶圆图（4096×4096）切成64×64 patch，输入序列长度达4096，显存爆炸
• 纳米颗粒在单个patch内可能仅占2-3像素，ViT的patch embedding无法有效响应

我们的混合架构（Hybrid Vision Transformer）：

1. 前端CNN骨干：用EfficientNet-B0提取多尺度特征，输出三个特征图（[64,64,128], [32,32,256], [16,16,512]）
2. Transformer桥接层：将最高层特征图reshape为序列（256×512），输入3层ViT Encoder，学习全局关系
3. 任务头分离：颗粒检测用CNN分支的[64,64,128]特征图做分割；划痕分析用Transformer输出的cls token；良率预测拼接CNN特征向量+Transformer cls token+统计特征（颗粒数、平均划痕角）

效果：在NVIDIA T4上，端到端延迟47ms（满足产线100ms要求），颗粒检测mAP 0.92，划痕分类准确率96.7%，良率预测R²=0.88。

3. 实操核心：从Keras Functional API到Tensorflow Graph的生死转换

3.1 Keras Functional API不是语法糖，是控制数据流的“电路图”

很多开发者用Sequential API写CNN，遇到多输入/多输出就懵。Functional API的本质是定义计算图（Computation Graph）的拓扑结构。看这个真实案例：

# 某设备故障预测模型：输入=振动信号(1024,1)+电流波形(1024,1)+温度曲线(1024,1) # 输出=剩余寿命(RUL)+故障类型(5类) # 错误示范：用Sequential强行拼接 model = Sequential([ Conv1D(64, 3, activation='relu', input_shape=(1024, 3)), # 强行合并三路信号 GlobalMaxPooling1D(), Dense(128, activation='relu'), # ...后续层 ]) # 问题：振动、电流、温度的物理量纲和噪声特性完全不同，合并后特征混淆

正确做法——Functional API构建并行分支：

# 定义三路输入 vib_input = Input(shape=(1024, 1), name='vibration') cur_input = Input(shape=(1024, 1), name='current') temp_input = Input(shape=(1024, 1), name='temperature') # 各自专用预处理 vib_x = Conv1D(32, 3, padding='same', name='vib_conv1')(vib_input) vib_x = BatchNormalization(name='vib_bn1')(vib_x) vib_x = Activation('relu', name='vib_relu1')(vib_x) cur_x = Conv1D(32, 5, padding='same', name='cur_conv1')(cur_input) # 电流信号周期长，用更大kernel cur_x = BatchNormalization(name='cur_bn1')(cur_x) cur_x = Activation('relu', name='cur_relu1')(cur_x) temp_x = Conv1D(16, 7, padding='same', name='temp_conv1')(temp_input) # 温度变化慢，用更大kernel捕获趋势 # 特征融合：不是简单concat，而是加权相加（权重可学习） fusion_weights = Dense(3, activation='softmax', name='fusion_weights')( Concatenate()([GlobalAvgPool1D()(vib_x), GlobalAvgPool1D()(cur_x), GlobalAvgPool1D()(temp_x)]) ) fused_features = Add()([ Multiply()([vib_x, fusion_weights[:, 0:1]]), Multiply()([cur_x, fusion_weights[:, 1:2]]), Multiply()([temp_x, fusion_weights[:, 2:3]]) ]) # 后续共享层 shared_x = Conv1D(64, 3, name='shared_conv1')(fused_features) shared_x = GlobalMaxPooling1D(name='shared_gmp')(shared_x) # 多任务输出 rul_output = Dense(1, name='rul')(shared_x) fault_output = Dense(5, activation='softmax', name='fault_type')(shared_x) # 构建模型 model = Model(inputs=[vib_input, cur_input, temp_input], outputs=[rul_output, fault_output])

关键点解析：

• Input对象是计算图的起点：每个Input对应一个独立数据流，避免特征混淆
• Layer调用是图节点：Conv1D(...)(vib_input)不是执行，而是声明“此处有一个卷积节点，输入来自vib_input”
• Add/Multiply是图边：它们定义数据如何流动，而非数值运算
• Multi-task输出强制图结构：outputs=[rul_output, fault_output]让TensorFlow知道这是两个并行任务

3.2 tf.function：从Python执行到Graph编译的临界点

Keras模型默认在Eager Execution下运行，方便调试但性能差。生产环境必须用@tf.function编译为静态图。但直接装饰模型会失败：

# 危险操作！会导致图构建失败 @tf.function def predict(x): return model(x) # model是Keras Model对象，内部含Python逻辑

正确编译方式——分层剥离：

# 步骤1：提取模型的call函数（纯TensorFlow操作） class HybridModel(tf.keras.Model): def __init__(self): super().__init__() # ...初始化层 @tf.function(input_signature=[ tf.TensorSpec(shape=[None, 1024, 1], dtype=tf.float32), tf.TensorSpec(shape=[None, 1024, 1], dtype=tf.float32), tf.TensorSpec(shape=[None, 1024, 1], dtype=tf.float32) ]) def call(self, vib, cur, temp): # 所有操作必须是tf.*，禁用Python if/for vib_x = self.vib_conv1(vib) vib_x = self.vib_bn1(vib_x, training=False) # 注意training=False # ...完整前向传播 return rul_pred, fault_pred # 步骤2：编译call方法 hybrid_model = HybridModel() hybrid_model.compile(optimizer='adam', loss={'rul': 'mse', 'fault_type': 'sparse_categorical_crossentropy'}) hybrid_model.call = tf.function(hybrid_model.call) # 步骤3：保存为SavedModel（非H5） tf.saved_model.save(hybrid_model, 'hybrid_model_serving')

为什么必须input_signature？

• 某次部署到TensorRT时，因未指定shape，TensorFlow自动推导出[?, 1024, 1]，而TensorRT要求静态shape，编译失败
• input_signature强制指定batch维度为None（动态批处理），其他维度固定，兼容性最佳

3.3 SavedModel vs H5：生产环境的格式生死线

Keras默认保存为.h5，但这是开发陷阱：

某次教训：客户要求模型部署到华为昇腾芯片，我们交付.h5文件。对方工程师反馈“模型加载失败”，查日志发现昇腾的CANN驱动只支持SavedModel格式。紧急重训并导出SavedModel，延误交付3天。

SavedModel导出实操：

# 正确导出（带签名） @tf.function def serving_fn(vib, cur, temp): rul, fault = hybrid_model(vib, cur, temp) return {'rul': rul, 'fault_type': fault} # 定义签名 concrete_function = serving_fn.get_concrete_function( vib=tf.TensorSpec([None, 1024, 1], tf.float32), cur=tf.TensorSpec([None, 1024, 1], tf.float32), temp=tf.TensorSpec([None, 1024, 1], tf.float32) ) # 保存 tf.saved_model.save( hybrid_model, 'hybrid_model_serving', signatures={'serving_default': concrete_function} )

验证SavedModel：

# 使用saved_model_cli检查 saved_model_cli show --dir ./hybrid_model_serving --all # 输出应包含： # MetaGraphDef with tag-set: 'serve' # SignatureDef 'serving_default': # The given input keys: ['vib', 'cur', 'temp'] # The given output keys: ['rul', 'fault_type']

4. CNN实战：工业图像预处理的12个致命细节

4.1 数据增强不是加法，是物理世界的镜像

教科书上的ImageDataGenerator(rotation_range=20)在工业场景会毁掉模型。某轴承检测项目，客户提供的图像全是固定夹具拍摄，旋转20度后轴承外圈出现伪影，模型学会识别“伪影”而非真实缺陷。

正确增强策略（基于物理约束）：

• 平移增强：width_shift_range=0.1, height_shift_range=0.1—— 模拟镜头微调
• 缩放增强：zoom_range=0.15—— 模拟焦距微调（注意：zoom是crop+resize，非双线性插值）
• 亮度/对比度：brightness_range=[0.8,1.2], contrast_range=[0.9,1.1]—— 模拟光照波动
• 禁用：rotation（除非产线有旋转台）、shear（无物理对应）、horizontal_flip（轴承有方向性）

自定义增强层（TensorFlow 2.10+）：

class IndustrialAugmentation(tf.keras.layers.Layer): def __init__(self, **kwargs): super().__init__(**kwargs) self.brightness = tf.keras.layers.RandomBrightness(0.2) self.contrast = tf.keras.layers.RandomContrast(0.1) self.crop = tf.keras.layers.RandomCrop(224, 224) # 先crop再resize，保留中心区域 def call(self, x, training=None): if not training: return x x = self.brightness(x) x = self.contrast(x) x = self.crop(x) return x # 在模型中使用 data_aug = IndustrialAugmentation() x = data_aug(x)

4.2 归一化：别再用ImageNet均值！用你的产线数据说话

x /= 255.0是最大误区。某光伏板检测项目，图像直方图集中在[120,180]区间（硅片反光），除以255后大部分像素<0.7，CNN第一层卷积核梯度消失。

正确做法——计算产线数据统计量：

# 采集1000张产线图像（非训练集） train_images = load_production_images() # shape=(1000, 256, 256, 3) # 计算每个通道的均值/标准差（非ImageNet的[123.67,116.28,103.53]） channel_means = np.mean(train_images, axis=(0,1,2)) # [142.3, 138.7, 135.2] channel_stds = np.std(train_images, axis=(0,1,2)) # [18.2, 16.5, 15.8] # 构建归一化层 normalization = tf.keras.layers.Normalization( mean=channel_means, variance=np.square(channel_stds) )

验证归一化效果：

# 归一化后各通道分布应接近N(0,1) normalized = normalization(train_images[0:1]) print(f"Channel 0: mean={np.mean(normalized[0,:,:,0]):.3f}, std={np.std(normalized[0,:,:,0]):.3f}") # 输出：Channel 0: mean=-0.002, std=1.001 → 符合预期

4.3 CNN骨干选择：不是越深越好，是越“瘦”越稳

ResNet50在ImageNet上很强，但在工业小样本上易过拟合。我们建立骨干网络选型决策树：

GhostNet实操（TensorFlow Hub）：

import tensorflow_hub as hub # 加载预训练GhostNet（注意：需TF 2.9+） ghostnet = hub.KerasLayer( "https://tfhub.dev/google/imagenet/ghostnet_100/classification/1", trainable=True ) # 替换顶层 base_model = tf.keras.Sequential([ ghostnet, tf.keras.layers.Dropout(0.3), tf.keras.layers.Dense(128, activation='relu'), tf.keras.layers.Dense(num_classes, activation='softmax') ])

实操心得：在某电子元件检测中，我们尝试GhostNet+Attention，但Attention模块引入的参数使模型在Jetson Nano上推理超时。最终方案是GhostNet+CBAM（Convolutional Block Attention Module），用轻量级通道+空间注意力，参数增加仅0.2M，mAP提升2.1%，延迟仍控制在28ms。

5. Transformer实战：从ViT到工业时序的降维打击

5.1 ViT的Patch Embedding：不是切图，是信号采样

ViT将图像切成16×16 patch，本质是空间域采样。但在工业场景，采样率必须匹配物理传感器：

• 红外热成像：热像仪分辨率640×480，但有效区域仅中心320×240（边缘噪声大）。Patch size设为32×32，得到10×7=70个patch，而非标准14×14=196。
• 超声波图像：B超图像宽高比16:9，若强行切正方形patch会丢失长条形缺陷。改用自适应patch：patch_height=16, patch_width=32，保持原始宽高比。

自定义ViT Patch Embedding：

class AdaptivePatchEmbedding(tf.keras.layers.Layer): def __init__(self, patch_height=16, patch_width=16, embed_dim=768, **kwargs): super().__init__(**kwargs) self.patch_height = patch_height self.patch_width = patch_width self.embed_dim = embed_dim self.projection = tf.keras.layers.Dense(embed_dim) def call(self, x): # x shape: [batch, height, width, channels] batch_size = tf.shape(x)[0] height, width = tf.shape(x)[1], tf.shape(x)[2] # 动态计算patch数量（向下取整，丢弃边缘） num_patches_h = height // self.patch_height num_patches_w = width // self.patch_width patches = tf.image.extract_patches( x, sizes=[1, self.patch_height, self.patch_width, 1], strides=[1, self.patch_height, self.patch_width, 1], rates=[1, 1, 1, 1], padding='VALID' ) # shape: [batch, num_patches_h, num_patches_w, patch_height*patch_width*channels] # 展平patch patches = tf.reshape(patches, [batch_size, -1, self.patch_height * self.patch_width * 3]) # 投影到embed_dim embeddings = self.projection(patches) # shape: [batch, num_patches, embed_dim] return embeddings # 使用 patch_embed = AdaptivePatchEmbedding(patch_height=32, patch_width=32, embed_dim=512) patches = patch_embed(image_batch) # shape: [batch, 70, 512]

5.2 Position Encoding：物理坐标 > 数学公式

ViT的正弦位置编码假设图像像素是均匀网格，但工业图像常有畸变：

• 鱼眼镜头：安防监控用鱼眼镜头，图像中心放大，边缘压缩。标准正弦编码会让模型误判边缘缺陷位置。
• 扫描电镜（SEM）：图像存在扫描线性畸变，行间距离不等。

解决方案——可学习位置编码 + 物理坐标注入：

class PhysicalPositionEncoding(tf.keras.layers.Layer): def __init__(self, max_patches=100, embed_dim=512, **kwargs): super().__init__(**kwargs) self.max_patches = max_patches self.embed_dim = embed_dim # 可学习位置编码 self.pos_encoding = self.add_weight( shape=(1, max_patches, embed_dim), initializer='random_normal', trainable=True, name='pos_encoding' ) def call(self, x, physical_coords=None): # x: [batch, num_patches, embed_dim] # physical_coords: [batch, num_patches, 2] (x,y物理坐标，单位mm) batch_size = tf.shape(x)[0] num_patches = tf.shape(x)[1] # 截取或填充位置编码 pos_enc = self.pos_encoding[:, :num_patches, :] # 物理坐标编码：用MLP映射到embed_dim if physical_coords is not None: coord_emb = tf.keras.layers.Dense(self.embed_dim//2, activation='relu')(physical_coords) coord_emb = tf.keras.layers.Dense(self.embed_dim)(coord_emb) # 融合位置编码和坐标编码 x = x + pos_enc + coord_emb else: x = x + pos_enc return x # 使用（需提前计算物理坐标） # 假设已知图像物理尺寸：320mm × 240mm，patch尺寸32×32对应10mm×10mm # 则patch中心坐标：[[5,5], [5,15], ..., [315,235]] physical_coords = tf.constant([...]) # shape=[70,2] patches = patch_embed(image_batch) patches = PhysicalPositionEncoding()(patches, physical_coords)

5.3 Transformer Encoder：剪枝不是删层，是删“冗余注意力”

ViT的12层Encoder中，很多层对工业图像贡献甚微。我们用注意力图（Attention Map）分析：

# 提取某层的注意力权重 layer = model.layers[10] # 第10层Transformer Encoder attention_weights = layer.attention.attention_scores # shape=[batch, num_heads, seq_len, seq_len] # 计算每层的注意力熵（衡量注意力分散程度） # 熵高=注意力分散，对全局建模重要；熵低=注意力集中，可能冗余 entropy = -tf.reduce_sum(attention_weights * tf.math.log(attention_weights + 1e-8), axis=-1) mean_entropy = tf.reduce_mean(entropy, axis=[1,2]) # [batch, num_heads] # 实测某轴承检测模型：第1-3层熵值低（0.2-0.3），第7-9层熵值高（0.8-0.9） # 结论：保留第7-9层，第1-3层替换为轻量级FFN

轻量级FFN实现：

class LightweightFFN(tf.keras.layers.Layer): def __init__(self, embed_dim=512, hidden_dim=128, **kwargs): super().__init__(**kwargs) self.dense1 = tf.keras.layers.Dense(hidden_dim, activation='gelu') self.dense2 = tf.keras.layers.Dense(embed_dim) self.dropout = tf.keras.layers.Dropout(0.1) def call(self, x): x = self.dense1(x) x = self.dropout(x) x = self.dense2(x) return x # 替换原Encoder的FFN original_encoder = model.layers[1] # 用LightweightFFN替换其feed_forward层 original_encoder.feed_forward = LightweightFFN(embed_dim=512, hidden_dim=128)

6. 常见问题与排查技巧实录：那些让工程师秃头的瞬间

6.1 OOM（Out of Memory）：不是显存不够，是计算图没剪干净

现象：训练时显存占用从2GB飙升到12GB（T4显卡爆掉），nvidia-smi显示GPU利用率0%。

排查步骤：

1. 检查tf.function装饰范围：是否装饰了整个训练循环？正确做法只装饰train_step函数
2. 检查数据管道：tf.data.Dataset是否用了.cache()？缓存会吃光内存
3. 检查梯度计算：with tf.GradientTape() as tape:是否包裹了不必要的大张量？

致命代码：

# 错误：在tf.function内创建大张量 @tf.function def train_step(x, y): # 创建一个大张量用于调试 debug_tensor = tf.random.normal([1000, 1000]) # 每次调用都新建！ # ...训练逻辑

修复方案：

# 正确：预分配调试张量，或用tf.print替代 debug_tensor = tf.Variable(tf.zeros([1000,1000]), trainable=False) # 全局变量 @tf.function def train_step(x, y): # 用tf.print输出关键值，不创建张量 tf.print("Batch loss:", loss) # ...训练逻辑

6.2 模型精度骤降：99%概率是数据管道的隐式转换

现象：训练集准确率98%，验证集65%，但验证集图像肉眼可见清晰。

排查清单：

• 检查数据加载顺序：tf.data.Dataset.list_files()默认shuffle，但验证集必须shuffle=False
• 检查图像解码：tf.io.decode_jpeg()默认channels=3，但灰度图会变成3通道，像素值错误
• 检查归一化一致性：训练时用x/255.0，验证时用x/255（整数除法！）

关键修复：

# 灰度图正确解码 def parse_image(filename, label): image = tf.io.read_file(filename) image = tf.io.decode_jpeg(image, channels=1) # 显式指定1通道 image = tf.cast(image, tf.float32) image = image / 255.0 # 浮点除法 return image, label # 验证集禁用shuffle val_dataset = val_dataset.batch(32).prefetch(tf.data.AUTOTUNE) # 不加shuffle

6.3 SavedModel加载失败：签名不匹配的隐形杀手

现象：tf.keras.models.load_model('model')成功，但tf.saved_model.load('model')失败，报错SignatureDef not found。

原因：Keras模型保存时未定义签名，而TensorFlow Serving需要明确签名。

解决方案：

# 保存时显式定义签名 @tf.function def serving_fn(x): return model(x) # 获取具体签名 concrete_fn = serving_fn.get_concrete_function( tf.TensorSpec(shape=[None, 224, 224, 3], dtype=tf.float32) ) # 保存 tf.saved_model.save( model, 'saved_model_dir', signatures={'serving_default': concrete_fn} ) # 加载时指定签名 loaded = tf.saved_model.load('saved_model_dir') infer = loaded.signatures['serving_default'] result = infer(tf.constant(np.random.random([1,224,224,3]).astype(np.float32)))

6.4 TensorRT加速失败：动态shape的幽灵

现象：TensorRT转换成功，但推理时崩溃，日志显示Invalid value for parameter。

根源：TensorRT要求所有tensor shape静态，但Keras模型中存在动态维度（如[None, 224, 224, 3]）。

修复流程：

1. 导出ONNX时固定batch size：

# 使用tf2onnx转换，指定batch=1 python -m tf2onnx.convert --saved-model saved_model_dir --output model.onnx --opset 15 --inputs 'input:0[1,224,224,3]'

2. TensorRT构建时设置max_batch_size=1：

config = builder.create_builder_config() config.max_workspace_size = 1 << 30 config.set_flag(trt.BuilderFlag.FP16) # 关键：设置最大batch size profile = builder.create_optimization_profile() profile.set_shape('input:0', (1,224,224,3), (1,224,224,3), (1,224,224,3)) config.add_optimization_profile(profile)

最后分享一个小技巧：在工业部署中，我习惯在SavedModel里埋一个“健康检查”签名：

@tf.function def health_check(): dummy_input = tf.zeros([1,224,224,3], dtype=tf.float32) return {'status':