深度分析：双层优化视角下的自动化机器学习

　　最近，大连理工大学的刘日生教授和北京大学的林周辰教授合作在《国家科学评论》(NSR)上发表了一篇观点文章。他们的文章从双层优化的角度深入研究了AutoML，在探索挑战和机遇的同时实现了各种AutoML任务的统一建模。本文将包含在NSR的专题“自动化机器学习”中。

　　一般来说，AutoML需要自动化三个关键任务，包括元特征学习、神经网络架构搜索和超参数优化。双层优化(BLO)是对这些任务进行建模的有效数学工具，提供了统一的AutoML框架。这个框架实现了AutoML的核心目标:用最少的人为干预构建高性能模型。

　　具体来说，在上层优化中，核心变量是“元参数”，旨在寻求在验证集(如元特征、网络结构和超参数)上实现机器学习模型性能优化的最优“方法”。另一方面，低层优化的核心变量是“模型参数”，重点是优化模型在训练集上的性能。

　　目前，以基于梯度的BLO算法为代表的ML/AutoML技术逐渐得到重视。但在实际应用中仍面临诸多挑战。

　　例如，一些算法严重依赖于低级问题的奇异性和凸性，限制了它们在现实场景中的实用性。此外，在实际应用中采用近似替代方法时，缺乏对算法严格收敛性的理论分析。

　　未来，BLO在AutoML领域面临的挑战和有前景的研究方向主要包括以下几个方面:

　　计算加速:随着数据集规模的扩大和任务复杂性的增加，迫切需要加速计算BLO算法处理大规模、高维数据的速度nal自动任务。并行/分布式计算技术可以作为解决这个问题的有效方法。

　　理论突破:目前，梯度理论sed BLO方法严重依赖于严格的理论假设，如子模块化和co假设低层次问题的不确定性。为了满足实际应用程序的需求，有必要进行以下操作构建新的理论分析框架和高效计算更好地处理涉及非co的更具挑战性的实际场景的Nal方法密集性和离散性。

　　优化衍生学习:从双级优化的新角度来看，我们可以探索集成仿真学习方法(SLeM)的颠覆性自动学习技术，特别是与大型模型集成时。这种探索涉及到更深入地研究AutoML的底层逻辑，以设计更高效、更精确的学习策略。

　　综上所述，本文从BLO的角度实现了不同AutoML任务的统一建模。以BLO算法的发展为中心，广泛分析了AutoML的现状和未来发展方向。本文提出的新观点有助于推进AutoML，使人工智能技术向更智能、更高效的领域发展。

　　更多信息:刘日生等，自动化机器学习的双层优化:框架和算法的新视角，National Science Review(2023)。DOI: 10.1093/nsr/nwad292引用本文:深度分析:双层优化视角下的自动化机器学习(2024年，2月21日)检索自https://techxplore.com/news/2024-02-depth-analysis-automated-machine-perspective.html。本文受版权保护。除为私人学习或研究目的而进行的任何公平交易外，未经书面许可，不得转载任何部分。内容仅供参考之用。