面向密集预测任务的神经架构搜索：原理、挑战与实战指南-开发者社区

1. 项目概述：当AI学会为自己“设计大脑”

在计算机视觉领域，有一类任务被称为“密集预测”。这可不是在预测股市的密集波动，而是指那些需要对输入图像中的每一个像素都给出一个预测结果的任务。比如，你想让机器识别一张街景照片里，哪些是道路、哪些是行人、哪些是车辆，并为每个像素贴上“道路”、“行人”或“车辆”的标签，这就是语义分割，一个典型的密集预测任务。还有深度估计（预测每个像素离摄像头的距离）、表面法线估计等，都属于这个范畴。

这些任务对模型的要求极高。传统的做法是，由我们人类——通常是资深的算法工程师或研究员——凭借经验和直觉，像搭积木一样，手工设计出像U-Net、DeepLab这样经典的网络架构。这个过程耗时费力，且严重依赖专家的“炼丹”功力，结果往往带有很强的主观性和局限性。一个很自然的想法就诞生了：能不能让机器自己来学习设计最适合某个特定密集预测任务的网络结构呢？这就是“面向密集预测任务的神经架构搜索”要解决的核心问题。

简单来说，NAS就是让算法在一个预设的“架构搜索空间”里，自动寻找在特定数据集和任务上性能最优的神经网络结构。把它应用到密集预测任务上，意味着我们不再需要手动反复调试编码器-解码器如何连接、跳跃连接放在哪、用多深的层，而是设定好目标（比如在Cityscapes数据集上取得更高的mIoU），然后让搜索算法自己去探索和进化，最终“生”出一个为这个任务量身定制的、可能比人类设计更高效的模型。

这听起来很美好，但实际操作起来，挑战重重。密集预测任务本身的计算开销就极大（处理高分辨率图像），而NAS又是一个需要反复训练和评估成百上千个候选模型的“计算怪兽”。两者结合，对算力的需求堪称恐怖。此外，如何为密集预测设计合适的搜索空间、如何设计高效的搜索策略以降低计算成本、以及如何保证搜索出的架构不仅精度高还要能高效部署，都是横亘在研究者面前的难题。尽管如此，这项技术一旦成熟，将极大解放算法工程师的生产力，并有可能发现人类未曾想到的、更优的模型结构，推动自动驾驶、医疗影像分析、机器人视觉等领域的边界。接下来，我就结合自己的理解和实践中的观察，拆解一下这个领域的门道。

2. 核心原理与搜索范式演进

要理解面向密集预测的NAS，得先摸清NAS本身的几种主流“玩法”。这就像你要造车，可以选择手工定制（手动设计）、流水线生产（自动化搜索），而流水线生产又有不同的管理模式。

2.1 三大主流搜索范式及其在密集预测中的适配

目前，NAS主要有三种范式，它们在搜索效率和最终结果上各有优劣。

基于强化学习（RL）的搜索：这是早期的经典方法。你可以把搜索过程看作一个游戏：一个“控制器”（通常是RNN）作为玩家，它每次行动就是为网络选择一层该用什么操作（比如3x3卷积、5x5卷积、深度可分离卷积等）。当它“搭”完一个完整的网络后，这个网络会被训练一段时间，得到的精度作为奖励反馈给控制器。控制器根据奖励来更新自己的策略，以期下次能生成得分更高的网络。在密集预测中，搜索空间可能包括编码器的骨架、解码器的上采样方式、特征融合模块的类型等。这种方法探索能力强，但最大的问题是极其耗费资源。训练一个网络来评估就需要数小时，而要搜索成千上万个网络，其计算成本是绝大多数团队无法承受的。

基于进化算法（EA）的搜索：这类方法模仿生物进化。我们维护一个“种群”，里面包含许多不同的网络架构（个体）。每一代，我们根据它们的性能（适应度，如验证集精度）选择优秀的个体进行“交叉”（交换部分结构）和“突变”（随机改变部分结构），产生新的子代，淘汰表现差的个体，如此迭代。对于密集预测任务，进化算法在搜索不规则或模块化结构时可能更有优势，例如探索不同阶段之间特征融合的最佳路径。但和RL一样，它也需要完整训练大量模型，计算开销依然是核心瓶颈。

基于梯度优化的可微分架构搜索（DARTS）：这是近年来革命性的方法，极大地提升了搜索效率。DARTS的核心思想是将离散的架构选择（选A操作还是B操作）松弛为连续的可优化变量。具体来说，在每一层，我们不是只保留一个操作，而是让所有候选操作（如3x3卷积、5x5卷积、池化等）同时存在，但给每个操作分配一个可学习的“架构权重”（alpha）。在搜索阶段，我们通过双优化交替更新网络权重（W）和这些架构权重（alpha）。搜索结束后，根据alpha值的大小，只保留权重最大的那个操作，从而得到一个离散的最终架构。

对于密集预测，DARTS类方法优势明显。它将架构搜索从一个黑盒的离散优化问题，转变为了一个可微分的、能与网络权重一同训练的连续优化问题，搜索效率比RL和EA高出几个数量级（从数万GPU天降至几天）。我们可以将搜索空间设计成包含密集预测特有的模块，例如针对多尺度上下文信息聚合的ASPP（空洞空间金字塔池化）的各种变体、或不同上采样路径的混合。然而，DARTS也有其问题，比如在搜索过程中对内存消耗巨大（因为要同时保留所有候选操作），并且存在“搜索-评估差距”——即搜索时性能最优的架构，在从头训练后（评估时）性能可能并非最好，这在密集预测任务中需要格外注意。

2.2 针对密集预测的搜索空间设计

搜索空间定义了算法可以探索的所有可能架构的集合。为密集预测设计搜索空间，不能简单照搬图像分类的设定，必须考虑其任务特性。

单元级 vs. 网络级搜索：
- 单元级搜索：这是DARTS最常用的方式。搜索一个或几种基本的“细胞”结构，然后像堆乐高一样，将这些细胞重复堆叠成完整的网络。例如，搜索一个“正常细胞”和一个“下采样细胞”。对于密集预测，我们可能需要设计专门用于编码器（下采样路径）和解码器（上采样路径）的细胞，甚至搜索它们之间的“跳跃连接”方式。
- 网络级搜索：直接搜索整个网络的宏观拓扑结构。例如，搜索编码器的深度、每一层的通道数、解码器中哪些层的特征应该被跳跃连接到解码器的对应层。这种方式更灵活，能更好地捕捉全局结构信息，但搜索空间也更大，更复杂。
密集预测特有的操作候选集：
- 除了标准的卷积、池化，搜索空间需要包含对密集预测友好的操作，如空洞卷积（在不增加参数的情况下扩大感受野）、可变形卷积（自适应调整采样位置）、深度可分离卷积（轻量化）以及各种注意力机制（如空间注意力、通道注意力）。
- 上采样操作也至关重要，需要将双线性插值、转置卷积、像素洗牌等纳入候选，让算法自己学习哪种上采样方式在特定位置更有效。
多尺度特征融合模块的搜索：密集预测的成功严重依赖于有效融合不同尺度的特征。因此，搜索空间可以包含如何构建特征金字塔网络（FPN）、U-Net式的跳跃连接的优化版本。例如，让算法搜索在解码器的每一层，应该以何种权重和方式融合来自编码器不同阶段的特征，是直接拼接、相加，还是通过一个可搜索的小型融合网络？

注意：搜索空间的设计是一门艺术，也是一门科学。空间太小，可能找不到比人工设计更好的结构；空间太大，则搜索难度和计算成本呈指数级增长。一个好的做法是从一个受经典人工设计（如DeepLabv3+, HRNet）启发的、中等规模的搜索空间开始。

3. 核心挑战与针对性优化策略

将NAS应用于密集预测，理想很丰满，但现实中的“坑”一个比一个深。下面我结合看到的和实践中可能遇到的问题，聊聊几个核心挑战以及社区是如何尝试解决的。

3.1 计算成本之殇：从“万日GPU”到“单卡数日”

这是NAS最初面临的最大指责，也是密集预测NAS必须翻越的第一座大山。早期的RL/EA方法动辄需要数万GPU天的计算，这几乎只有顶级科技公司才能玩得起。

解决方案与实践策略：

权重共享与超网络：这是目前高效NAS的基石思想，以ENAS、DARTS为代表。所有候选架构不再独立训练，而是共享一个“超网络”的权重。在DARTS中，所有操作并行存在；在像Single-Path NAS等方法中，整个搜索空间被编码到一个超参数化的网络中，每个架构都是这个网络的一个子路径。训练这个超网络一次，就等于同时为所有候选架构提供了权重估计，从而避免了重复训练。
性能预测器：训练一个代理模型（如基于图神经网络的预测器），学习从网络架构编码到其性能（如精度）的映射。在搜索时，不需要真实训练候选网络，只需用预测器快速估算其性能，从而筛选出有潜力的架构进行精细评估。这大大减少了需要实际训练的模型数量。
分层搜索与渐进式收缩：不一次性搜索整个庞大网络。可以先搜索一个小型网络或基础单元，然后通过堆叠或放大规则扩展到完整网络。或者采用渐进式方法，先在大空间里粗搜，再在表现好的区域进行精细搜索。
针对密集预测的加速技巧：
- 在低分辨率图像上搜索：在搜索阶段，使用原图的下采样版本（如1/4或1/8分辨率）进行训练和评估，可以极大减少计算量和内存占用。虽然这会引入一些偏差，但通常搜索出的架构拓扑是有效的，在评估阶段用回原图分辨率训练即可。
- 缩短训练周期：搜索时，每个架构或超网络的每个训练周期（epoch）数可以大幅减少（如只用几个或几十个epoch），使用更小的批次大小（batch size）。虽然这会低估模型的绝对性能，但用于相对排名（比较哪个架构更好）通常是足够的。

3.2 搜索-评估差距：为什么搜索时的“冠军”会掉链子？

这是基于梯度的方法（如DARTS）中的一个典型问题。在搜索阶段，由于权重共享和连续松弛，评估出的“最优”架构（alpha值最大的路径）可能并不是真正独立训练时最好的那一个。在密集预测任务中，由于任务更复杂，这种差距可能更明显。

根源与应对：

离散化误差：搜索结束后的“离散化”步骤（只保留alpha最大的操作）是一种近似，会丢失搜索过程中其他操作贡献的协同效应。
优化过程的不一致：搜索阶段和评估阶段的优化目标、数据增强策略、超参数设置可能不同。
针对性的改进方法：
- 正则化技术：在搜索损失中加入对架构参数alpha的正则项，例如鼓励稀疏性，让结果更稳定。也有工作通过早停策略，防止alpha过度优化到某个尖锐的极值点。
- 部分通道连接：像PC-DARTS这样的工作，在搜索时只随机采样特征通道的一部分进行架构参数更新，另一部分直接跳过，这减少了内存消耗并起到了正则化效果。
- 零成本代理指标：使用无需训练或仅需前向传播一次即可计算的指标（如NASWOT、TE-NAS）来初步评估架构，这些指标与最终精度有较强的相关性，可以辅助筛选或作为搜索的辅助目标，减少对不可靠的搜索阶段精度的依赖。
- 多轮迭代与验证：不要完全相信单次搜索的结果。可以采用多次独立搜索，或搜索后对top-k个候选架构进行快速的重新训练验证，选择最稳健的那个。

3.3 部署效率与硬件感知搜索

搜索出一个在学术数据集上mIoU最高的模型，并不意味着它就能在实际产品中落地。模型可能参数量巨大、计算延迟高、无法在边缘设备（如手机、自动驾驶车载单元）上实时运行。

硬件感知神经架构搜索：这是当前和未来的重要方向。其核心思想是将部署约束直接作为搜索目标的一部分。不再仅仅优化验证集精度（如mIoU），而是优化一个多目标函数，例如：目标 = 精度(mIoU) - λ * 延迟(Latency)或目标 = 精度(mIoU)，约束条件：参数量 < M, 计算量(FLOPs) < F, 延迟 < L ms

实现的关键点：

构建延迟/功耗查找表：对于搜索空间中的每个操作（如3x3卷积、深度可分离卷积），在目标硬件（如特定的GPU、手机芯片）上预先测量其在不同输入输出通道数、特征图大小下的实际延迟或功耗，建立一个查找表。
将延迟作为可微损失：在基于梯度的搜索中，需要让延迟对于架构参数alpha也是可微的。通过查找表，整个网络的预估延迟可以表示为各操作延迟的加权和（权重即alpha），从而可以计算梯度并参与优化。
搜索空间适配硬件：在设计搜索空间时，就排除掉在目标硬件上效率极低的操作。例如，在移动端，会优先包含深度可分离卷积、倒残差结构等MobileNet系列的高效操作，而避免使用大的密集卷积或复杂的注意力模块（除非有特别优化）。

对于密集预测，硬件感知搜索尤其重要。因为高分辨率输入本身就意味着巨大的计算量。搜索出的模型需要在精度和速度之间取得最佳平衡，例如，可能会自动发现：在浅层使用更多计算来提取细节，在深层使用更高效的模块来聚合上下文。

4. 实战解析：一个简化的密集预测NAS流程

纸上得来终觉浅。这里我勾勒一个基于DARTS思想、面向语义分割任务的简化NAS流程，帮助大家理解整个闭环是如何运作的。请注意，这是一个高度简化的示意，真实项目要复杂得多。

4.1 定义搜索空间与超网络构建

我们假设进行单元级搜索，为编码器路径设计两种细胞：Normal Cell（保持分辨率）和Reduction Cell（下采样，分辨率减半）。

节点与操作：每个细胞是一个有向无环图，包含N个有序节点（例如N=4）。每个节点代表一个特征图。节点之间的每条边代表一个候选操作。我们预定义一组操作集合O：O = { ‘3x3_conv’, ‘5x5_conv’, ‘3x3_dilated_conv_rate2’, ‘3x3_depthwise_sep_conv’, ‘identity’, ‘zero’ }其中，dilated_conv（空洞卷积）是针对密集预测任务特意加入的，用于捕获多尺度上下文；zero操作代表断开连接。
超网络构建：对于细胞中任意两个节点i, j (i<j)，我们不是选择单一操作，而是将所有候选操作都放在这条边上，每个操作对应一个可学习的架构权重α_{i,j}^{o}。那么，节点j的输出就是所有前驱节点i的输出的加权和：x_j = Σ_{i<j} Σ_{o∈O} ( softmax(α_{i,j}^{o}) * o(x_i) )这里，softmax使得对于每条边(i,j)，所有操作o的权重之和为1。在搜索阶段，我们同时优化网络权重W和所有架构参数α。

4.2 设计搜索策略与损失函数

我们采用类似DARTS的双层优化策略。

划分数据集：将训练集分为train_train和train_val两部分，分别用于更新网络权重W和架构参数α。
交替优化：
- 步骤一（更新网络权重W）：在train_train上，固定架构参数α，通过标准的前向-反向传播，使用分割任务损失（如交叉熵损失）来更新卷积权重、批归一化层参数等。L_train = CrossEntropyLoss( Predictions( W, α ), GroundTruth )W = W - η_w * ∇_W L_train
- 步骤二（更新架构参数α）：在train_val上，固定网络权重W，前向传播计算验证损失。这个损失关于α的梯度，反映了当前α定义的架构“好坏”。L_val = CrossEntropyLoss( Predictions( W, α ), GroundTruth )α = α - η_α * ∇_α L_val这两个步骤交替进行。注意，在第二步计算∇_α L_val时，需要通过链式法则追溯到W，而W又依赖于第一步的更新，这涉及到二阶近似，实际操作中常采用一阶简化以节省计算。

4.3 架构派生与最终模型训练

搜索进行一定轮次（如50个epoch）后，我们得到了一组收敛的架构参数α。

离散化：对于每个细胞中的每条边(i,j)，我们选择softmax(α_{i,j}^{o})值最大的那个操作o，保留它，移除其他所有操作。这样就得到了一个确定的、离散的细胞结构。
构建最终网络：用离散化得到的Normal Cell和Reduction Cell，按照预设的宏观骨架（例如，一个类似U-Net的编码器-解码器结构，编码器由若干个Reduction Cell和Normal Cell堆叠而成）组装成完整的分割网络。
从头训练：这是最关键的一步。将搜索阶段学到的网络权重W全部丢弃。使用完整的训练集，对这个新组装好的、确定架构的网络进行从头开始的标准训练。通常，这会使用更强的数据增强、更长的训练周期、精心调优的学习率策略等，以充分发挥该架构的潜力。最后在独立的测试集上评估性能。

实操心得：搜索阶段的超参数（如学习率、优化器）对结果影响巨大。α的学习率通常需要设得比W的学习率小一个数量级，以保证架构参数的稳定更新。另外，一定要在搜索结束后进行彻底的重训练评估，搜索阶段的精度仅具参考意义。

5. 典型应用场景与前沿探索

自动搜索出的密集预测模型，已经在多个对精度和效率有严苛要求的领域展现出潜力。

5.1 自动驾驶中的实时语义分割

这是NAS密集预测的“兵家必争之地”。车载计算平台算力有限，但需要模型对摄像头输入的视频流进行每秒数十帧的实时语义分割，识别出车道线、车辆、行人、交通标志等。

需求：极高的推理速度（>30 FPS）、高精度、低功耗、模型稳定。
NAS的用武之地：通过硬件感知NAS，可以直接以特定车载芯片（如NVIDIA Xavier, Tesla FSD）的实测延迟为约束进行搜索。搜索出的模型往往是传统手工设计难以想到的异构结构，例如在背景区域使用更轻量的操作，在物体边缘等关键区域使用更复杂的操作，实现了精度和速度的帕累托最优。像SwiftNet、Fast-SCNN等高效模型的设计思想，都可以通过NAS自动发现甚至优化。

5.2 移动端与边缘设备的视觉应用

手机上的背景虚化、人像分割、AR特效，以及无人机、机器人上的场景理解，都需要轻量级且准确的密集预测模型。

需求：模型小巧（参数量少）、计算快（FLOPs低）、能耗低、适配移动端NPU或DSP特性。
NAS的用武之地：搜索空间会大量纳入MobileNetV2/V3的倒残差结构、ShuffleNet的通道洗牌操作等移动端友好模块。同时，搜索目标会直接加入参数量、FLOPs或针对移动处理器的延迟作为惩罚项。这样搜索出的模型，在同等精度下，往往比人工设计的移动端模型（如DeepLabv3+ MobileNetV2）体积更小、速度更快。

5.3 医学影像分析

在CT、MRI图像的病灶分割、组织分割中，数据模态特殊（如3D体积数据）、标注成本极高、且对分割边界精度要求严苛。

需求：对特定模态数据的高适应性、在有限标注数据下的强泛化能力、极高的分割精度（如Dice系数）。
NAS的用武之地：这里的NAS可以更侧重于网络架构与数据特性的协同搜索。例如，针对3D医学图像，搜索空间可以包含3D卷积、3D空洞卷积等操作。更进一步，可以与半监督学习、自监督学习结合，在大量无标注数据和少量标注数据上共同进行架构搜索，让搜索出的网络天生具备从无标注数据中学习的能力。此外，还可以搜索针对不平衡类别（病灶区域远小于背景）的特殊损失函数或注意力模块。

5.4 前沿探索方向

这个领域仍在飞速发展，几个有趣的前沿方向值得关注：

Once-for-All 与可变形网络：训练一个超网络，它本身就包含了无数个子网络。在部署时，可以根据不同的设备算力动态选择不同的子网络，无需为每个设备重新搜索或训练。这对于需要适配多种终端设备的云服务提供商特别有吸引力。
NAS与Transformer的结合：Vision Transformer在密集预测上展现了强大潜力。如何为ViT设计搜索空间（如搜索注意力头的数量、MLP的扩展比、patch embedding的方式等），并自动搜索出适合下游密集任务的Transformer架构，是一个火热的方向。
多任务NAS：自动驾驶中需要同时进行分割、检测、深度估计等多个任务。多任务NAS旨在搜索一个共享主干网络和任务特定头部的架构，在多个任务间取得最佳权衡，最大化硬件利用效率。
数据高效的NAS：如何在数据量有限（如医疗图像）、或标注噪声大的场景下进行有效的架构搜索，减少对大规模高质量标注数据的依赖。

6. 常见陷阱、问题排查与调优经验

即使理解了原理和流程，在实际操作中还是会遇到各种问题。下面我整理了一些常见的“坑”和解决思路。

6.1 搜索过程不稳定或发散

现象：验证损失剧烈波动，架构参数α很快收敛到极端值（例如某条边的某个操作权重接近1，其他全部为0），或者搜索出的架构性能极差。
可能原因与排查：
1. 架构参数α的学习率过高：这是最常见的原因。α控制着结构选择，需要比网络权重W更精细的调整。尝试将α的学习率降低为W学习率的1/10或1/100。
2. 权重共享导致的优化冲突：超网络中不同架构的路径共享权重，可能导致优化目标冲突。可以尝试使用部分通道连接（如PC-DARTS）来减轻冲突，或者定期对超网络进行权重重置或部分重新初始化。
3. 搜索空间设计不合理：可能存在某些“占优”操作，导致算法快速陷入局部最优。检查操作候选集，确保公平性。可以尝试在搜索初期加入操作Dropout或噪声，鼓励探索。
4. 梯度爆炸/消失：特别是当搜索深度较深的网络时。确保良好的权重初始化，并在超网络中使用残差连接或identity操作作为候选，以保障梯度流动。

6.2 搜索出的架构重训练后性能大幅下降

现象：搜索阶段排名靠前的架构，在独立从头训练后，性能远不如搜索时的评估，甚至不如随机初始化的基准模型。
可能原因与排查：
1. 搜索-评估差距：这是DARTS类方法的固有问题。除了前文提到的正则化方法，可以尝试：
  - 多次搜索取平均：进行多次独立搜索，选择出现频率高的架构模式。
  - 保留Top-K进行验证：不只看排名第一的，对搜索出的Top-3或Top-5架构都进行快速的重新训练验证，选择最稳健的。
  - 使用零成本代理指标辅助筛选：在重训练前，用NASWOT等指标对候选架构进行预筛选，剔除那些指标很差的架构。
2. 搜索时的训练设置与重训练不一致：搜索时可能用了弱的数据增强、小的裁剪尺寸、少的训练轮数。确保重训练时使用与最终生产环境一致的、更强力的训练策略。搜索可以“将就”，但重训练必须“讲究”。
3. 架构本身存在缺陷：搜索出的架构可能在某些层出现了信息瓶颈（如通道数骤降）或梯度流问题。手动检查派生出的架构图，看看是否有明显不合理的设计。可以在搜索空间中强制加入一些约束，如相邻层通道数变化不能超过一定比例。

6.3 硬件感知搜索中延迟预估不准

现象：搜索时以预估延迟为优化目标，但搜索出的模型在真实硬件上实测延迟与预估值偏差较大，导致优化失效。
可能原因与排查：
1. 查找表不够精确：查找表是在特定输入输出配置下测量的。如果搜索出的架构中，操作的实际运行环境（如并行度、内存访问模式）与测量时差异大，就会不准。解决方法是进行更细致的测量，考虑不同配置组合，或使用更精确的延迟预测模型而非简单的查找表。
2. 忽略了运行时开销：查找表通常只测量算子的计算延迟，但模型整体的延迟还包括内存搬运、算子启动、层间数据转换等开销。对于小模型或移动端模型，这些开销占比可能很高。需要在目标硬件上对完整模型或关键子图进行端到端（End-to-End）的延迟测量和建模。
3. 多目标优化的权重λ设置不当：损失函数中精度和延迟的权衡系数λ至关重要。λ太大，模型会过于倾向低延迟而牺牲太多精度；λ太小，则对延迟的约束不够。需要通过一系列实验来调整λ，或者采用帕累托前沿搜索，得到一组在精度和延迟上取得不同平衡的模型供选择。

6.4 内存溢出（OOM）问题

现象：在搜索阶段，尤其是使用DARTS时，GPU内存不足。
解决方案：
1. 降低搜索图像分辨率：这是最有效的方法。用原图的1/2或1/4分辨率进行搜索。
2. 减小批次大小（Batch Size）：但这可能会影响优化稳定性，需要相应调整学习率。
3. 使用梯度累积：模拟大批次训练。
4. 采用内存高效的方法：如PC-DARTS只对部分通道进行架构参数计算，ProxylessNAS直接在目标硬件上搜索，避免了超网络同时保存所有操作权重。
5. 优化搜索空间：减少每个节点的候选操作数量，或减少细胞中的节点数。

最后一点个人体会：神经架构搜索不是一个“一劳永逸”的魔法黑盒。它更像一个强大的自动化架构探索工具，其效果严重依赖于你提供的“原材料”——搜索空间、优化目标、训练策略。一个糟糕的搜索空间设计，再好的搜索算法也找不到黄金。因此，在启动一个NAS项目前，花足够的时间分析你的任务特性、硬件约束，并基于领域知识设计一个合理且高效的搜索空间，往往比盲目尝试各种复杂的搜索算法更重要。从简单的搜索空间和高效的搜索策略（如DARTS的变种）开始，逐步迭代，是更稳妥的实践路径。记住，NAS的目的是辅助和增强人类的设计能力，而非完全取代它。