应用前景

作为自动化机器学习的重要子领域之一，神经结构搜索旨在以一种自动化的方式，解决高难度的复杂神经网络设计问题。具体上，根据专家预先定义的搜索空间，神经结构搜索算法在一个庞大的神经网络集合中评估结构性能并寻找到表现最佳的网络结构。自动化结构搜索的结果往往是专家手工设计过程中未考虑的，能够取得更加优异的性能表现，尤其在一些硬件资源受限的应用场景中，神经结构搜索往往能取得惊人的效果。神经结构搜索在超参数选择的过程中扮演着关键角色，而且具有重要的理论意义和应用价值。面向一种特殊的神经网络结构超参数，神经结构搜索联合优化理论和机器学习理论，有效地解决神经网络模型的调参问题，降低神经网络的使用成本与实现成本，促使模型设计的智能化与神经网络应用的大众化。

研究内容

拟从四个方面开展研究，包括神经结构搜索算法的评估方法，基于动态规划策略的神经网络结构搜索，以及全自动化深度神经网络架构搜索。具体研究内容如下：

神经结构搜索算法的评估方法：目前优秀的神经结构搜索算法随着目标任务的杂度增大，相应地对搜索空间和搜索策略的要求也越高。实验室需要对网络性能的评估做到尽量消耗较小的计算资源，另外，还需要建立准确的网络性能预测机制，来加块搜索效率。

基于动态规划策略的神经网络结构搜索：进一步达成面向不同边缘设备的模型自动压缩，拟研究基于神经网络架构搜索（NAS）的模型自动压缩技术。传统NAS方法无法针对不同的硬件设备进行快速适配，这严重限制了NAS技术在不同目标检测场景的实用化。围绕该问题，实验室研究基于动态规划策略的神经网络结构搜索技术，对于不同边缘计算场景下检测跟踪任务的硬件限制条件，使用动态规划策略来进行采样指导，高效生成适配边缘部署的紧致化神经网络结构。

全自动化深度神经网络架构搜索：现阶段的网络架构搜索算法还未达到全自动的要求。实验室需要研究扩大搜索空间规模，消除人工设计的影响，不再预先设定卷积核尺寸或引入一种自适应系数，对现有空间内的候选操作进行线性或非线性组合，形成新的计算操作，扩大搜索空间。并研究模型压缩和神经结构搜索之间的模型关系，并设计出基于神经结构搜索的自动化模型搜索算法，实现真正意义上的全自动化人工智能。