text: 预计 2030 年，AI 会消耗全球电力供应的 50%，人工智能将如何影响人类的未来？
  最近促使人工智能突破的驱动力主要来自数据和计算，但是能源成本也是推动人工智能技术进步的动力之源。虽然神经架构搜索（NAS）、超参数优化（HPO）解放了神经架构和超参数调整的人力成本，但需要大量计算与反复训练密集型的深度模型，将导致大量的能源消耗和碳排放。如图1所示，使用NAS搜索一个200M左右的Transformer模型，所释放的碳排放量是一个人类活动平均一年释放碳排放量的50倍以上。现有的NAS研究主要集中在搜索到的深度模型的资源成本上，如参数大小、浮点运算（FLOPS）或延迟，如图2所示。在搜索过程中，如何权衡模型性能和能源成本很少被研究。为了使EA-NAS研究更具有可重复性和参考价值，微软亚洲研究院人工智能与机器学习组（上海）的研究员们提出了首个大规模能耗感知超参数和架构搜索基准EA-HAS-Bench。开发搜索能耗成本感知的AutoML方法具有重要意义：它能够匹配性能良好的模型，同时在整个搜索过程中可以最大限度地减少整体能耗。根据 EA-HAS-Bench，科研人员无需实际训练模型，就可以轻松获得某个架构和超参数配置的训练能源成本和模型性能。此外，研究员们还提出了一种专门为联合搜索空间设计的新型代理模型。基于所提出的数据集，研究员们修改了现有的AutoML算法以考虑搜索能耗，改进的能耗感知AutoML方法在能耗和模型性能之间实现了更好的权衡。目前，该数据集和相关代码已经在GitHub中开源。论文链接：https://openreview.net/forum?id=n-bvaLSCC78开源链接：https://github.com/microsoft/EA-HAS-Bench为了支持开发能耗感知的HPO和NAS方法，EA-HAS-Bench需要满足三个要求：· 首先，EA-HAS-Bench需要提供运行一个特定的AutoML方法的总搜索能耗成本。如表1所示，大多数现有的传统基准如NAS-Bench-101 [1]并不直接提供训练能源成本，仅能提供模型训练的时间预估训练资源成本，正如本文中的实验所验证的，这是不准确的能源成本估计。HW-NAS-bench [2]提供了不同模型架构的推理延迟和推理能耗，但没有直接提供搜索能耗成本。· 其次，EA-HAS-Bench的搜索空间应该包括同时影响模型训练能耗成本和性能的配置。由于模型架构（如尺度、宽度、深度）和训练超参数（如训练次数）都与训练能耗成本相关，因此有必要设计一个联合超参数和架构搜索（HAS）的搜索空间。· 最后由于联合搜索空间规模巨大，所以需要一个代理模型使用采样配置的子集来填充整个搜索空间。与现有主流NAS-Bench的搜索空间只关注网络架构不同，EA-HAS-Bench由两部分组成：网络架构空间RegNet与用于优化和训练的超参数空间，以涵盖影响性能和能耗的多样化配置。搜索空间的细节如表2所示，EA-HAS-Bench的搜索空间包括  的模型架构和540个训练超参数配置，共包含  采样点。由于EA-HAS-Bench的搜索空间范围很大，所以即使对于CIFAR10这样的小数据集，直接训练空间中的所有配置也不可行。同时，一些如模型性能曲线、搜索能耗成本和运行时间等指标无法直接测量。因此，与最近的NAS-Bench-x11 [3]类似，研究员们开发了从一个采样的配置子集扩展至整个搜索空间的代理模型。研究员们选择贝塞尔曲线来适应任意长度的学习曲线。贝塞尔曲线的形状完全由其控制点决定，对任意长度的学习曲线进行回归的任务会被简化为预测贝塞尔曲线控制点。给定一个RegNet架构和超参数配置，研究员们会用神经网络来估计贝塞尔曲线控制点。如图3所示，提出的基于贝塞尔曲线的代理模型由超参数编码器、架构编码器和学习曲线预测网络组成。训练中的超参数配置被表示为独热向量。RegNet配置参数被归一化为0和1之间的值，并连接成一个向量。然后超参数表征和结构表征会被送入学习曲线预测器，以估计贝塞尔曲线的起始/终止点和控制点。学习曲线预测器由两个分支组成，一个预测贝塞尔曲线的起点和终点的垂直坐标，另一个分支预测其他控制点。代用模型的性能表现如表3所示。基于参数化学习曲线的模型函数不能很好地拟合EA-HAS-Bench中的真实学习曲线，有些高阶函数甚至不能收敛。这是由于在代用模型中，不同参数的重要性各异，特别是在指数函数的指数中的参数。在CIFAR-10上，真实与BCS的尖峰异常百分比分别为3.72%和4.68%，在TinyImageNet上为0.83%和1.31%。与现有的NAS基准相比，如NAS-Bench-101 [1],NAS-Bench-201 [4]、NAS-Bench-301[5]，EA-HAS-Bench有三个明显的区别。由于大多数现有的大规模计算机视觉NAS基准只关注网络架构，并对所有模型应用相同的超参数，所以研究员们探究了不同的超参数如何具体影响搜索到的模型性能。研究员们使用了一个经验累积分布（ECDF）来评估搜索空间的质量。具体来说，他们从搜索空间中抽取了一组配置并描述其误差分布。图5显示了TinyImageNet上不同训练超参数的经验累积分布（ECDF）。可以观察到，学习率和优化器的选择可能对搜索空间质量有重要的影响。最大训练次数的大小也与搜索空间的质量呈正相关关系。其次，研究员们研究了TinyImageNet中模型的训练能耗（TEC）、训练时间和测试精度之间的关系。首先，从图6的左图中，研究员们观察到TEC和训练时间有正相关关系，但左图中的点比较分散，这意味着训练时间和能耗成本之间的相关性并不强。尽管训练模型的时间越长，可能产生的能耗成本越高，但最终的成本仍然取决于如功率等许多其他因素。研究员们用中间和右边的图也验证了这个结论，在准确率-运行时间坐标上的帕累托前沿（右图）的模型并不总是在准确率-TEC坐标上的帕累托前沿（中图），表明训练时间和能源成本并不相等。同时，训练一个模型更长的时间（或用更多的能耗）并不能保证更好的准确性。中图和右图中还显示了，许多具有高TEC的模型，由于不恰当的神经结构或超参数配置，仍然无法训练。另一方面，简单地寻找最佳精度可能也不符合成本效益，因为有相当多的配置具有相同的精度水平。研究员们评估了四种单保真算法：随机搜索（RS）、局部搜索（LS）、正则化进化（REA）和BANANAS和两种基于多保真的算法：Hyperband（HB）和贝叶斯优化Hyperband（BOHB）的搜索能耗成本与模型性能之间的平衡。图7所示，研究员们比较了EA-HAS-Bench搜索空间上的单保真和多保真算法。对于单保真算法，LS是两个数据集中表现最好的算法。这表明，与NAS-Bench类似，具有联合搜索空间的HAS-Bench也具有局部性，这种属性使搜索空间中 &#34;接近 &#34;的点往往具有相似的性能。由于AutoML通常需要反复训练大量的计算密集型的深度模型来寻找最佳的配置能耗是AutoML算法中亟待解决的问题。EA-HAS-Bench提供了一个基准，使EA-NAS研究更具有可重复性和可获得性。未来，微软亚洲研究院的研究员们将会继续探索如何开发更节能的NAS或者HPO算法，并且期望EA-HAS-Bench能加速和促进EA-NAS和HAS的研究创新。参考文献：[1] Ying, Chris, et al. &#34;Nas-bench-101: Towards reproducible neural architecture search.&#34; International Conference on Machine Learning. PMLR, 2019.[2] Li, Chaojian, et al. &#34;HW-NAS-Bench: Hardware-Aware Neural Architecture Search Benchmark.&#34; The 9th International Conference on Learning Representations 2021 (ICLR 2021). 2021.[3] Yan, Shen, et al. &#34;Nas-bench-x11 and the power of learning curves.&#34; Advances in Neural Information Processing Systems 34 (2021): 22534-22549.[4] Dong, Xuanyi, and Yi Yang. &#34;NAS-Bench-201: Extending the Scope of Reproducible Neural Architecture Search.&#34; International Conference on Learning Representations 2020 (ICLR 2020). 2021.[5] Siems, Julien, et al. &#34;Nas-bench-301 and the case for surrogate benchmarks for neural architecture search.&#34; arXiv preprint arXiv:2008.09777 11 (2020).