神经架构搜索 (NAS) 是 AutoML 中的一项技术，可自动设计神经网络架构。 NAS 无需开发人员手动设计层、连接和超参数，而是使用算法来探索一组预定义的可能架构，并选择性能最佳的架构。 该过程涉及三个核心组成部分：搜索空间（定义可能的网络结构，例如层类型和连接）、搜索策略（探索搜索空间的算法，例如强化学习或进化方法）和性能评估方法（例如，验证准确率）来对架构进行排名。 例如，NAS 可能会测试卷积层、池化层或残差连接的组合，以优化图像分类任务的准确率。 通过自动化这种试错过程，NAS 减少了手动实验的需要，同时发现了人类设计师可能不直观的架构。
NAS 在实践中的一个关键例子是 Google 的 Efficient NAS (ENAS)，它使用强化学习来训练一个控制器网络，该网络生成候选架构。 当控制器建议的架构获得高准确率时，控制器会获得奖励，从而引导搜索朝着更好的设计方向发展。 另一种方法，可微架构搜索 (DARTS)，将搜索空间视为一个连续图，其中架构选择表示为概率。 通过使用梯度下降来优化这些概率，DARTS 降低了搜索的计算成本。 NAS 已经产生了诸如 NASNet（在 ImageNet 上取得了最先进的结果）和 EfficientNet（针对移动设备进行了优化）之类的模型。 这些框架通常采用诸如权重共享（在试验中重用训练的参数）之类的技术来加速评估，从而即使在资源有限的情况下也使 NAS 可行。
NAS 的主要好处是它能够以最少的人工干预来发现高性能架构，从而节省时间和专业知识。 例如，通过 NAS 找到的模型通常在诸如对象检测或自然语言处理之类的任务中优于手工设计。 但是，NAS 面临着挑战：它可能需要大量的计算资源（例如，数千个 GPU 小时）以及对搜索空间的仔细设计，以避免获得次优结果。 如果搜索空间太窄，NAS 可能会错过创新设计；如果搜索空间太宽，则搜索会变得效率低下。 此外，针对一个数据集优化的架构可能无法很好地推广到其他数据集。 为了解决这个问题，一些框架合并了诸如模型大小或延迟之类的约束，从而确保最终设计可以在特定硬件上工作。 随着 NAS 的发展，重点在于提高效率（例如，使用代理任务或迁移学习）并使开发人员无需专门的基础架构即可访问该技术。