谷歌大脑开源项目 AutoML-Zero：仅用数学运算就能探索出机器学习算法

近年来，机器学习取得了巨大的成功，这些成功得益于机器学习算法的不断优化，例如深度神经网络。深度神经网络在不断发现问题和解决问题的过程中又推动了 AutoML 的发展。到目前为止，AutoML 一直致力于通过组合复杂的手工设计组件来构建解决方案。一个典型的例子是神经架构搜索，这是一个子领域，在这个子领域中，人们可以从复杂的层（例如卷积、批标准化和 dropout）自动构建神经网络，这也是许多研究的主题。

在 AutoML
中使用的这些手工设计的组件的另一种方法是从头开始搜索整个算法，这很有挑战性。因为它需要探索广泛而稀疏的搜索空间，但它有很大的潜在好处：它不会偏向我们已知的内容，而且有可能发现新的、更好的 机器学习架构
。
打个比方，我们可以这样来描述 AutoML：如果一个人要建造一座房子，那么他从零开始动手，要比只使用预制板建造房子有更多的灵活性或改进的潜力。然而，对房屋的设计却是极为艰难的一个步骤，因为与预制的整个房间的组合相比，将砖瓦和砂浆结合起来的可能方法要多得多。因此，早期对算法从头开始学习的研究主要集中在算法的某一方面，例如学习规则，以此来减少搜索空间和所需的计算量。自 20 世纪 90 年代初以来该问题就没有被重新研究过，直到现在。