还在担心如何为优化器调整更好的参数吗。
现在Google Brain又出了一个新的优化器VeLO，可以直接使用，不需要手动调整任何超级参数。
与其他人工设计的算法不同，VeLO完全基于AI，可以适应各种任务。
有网友看到了优化器进步的曙光:
亚当之后出现了很多优化师，但都失败了这个优化器可能确实表现得更好
那么，这个基于人工智能的优化器是如何构建的呢。
VeLO到底是怎么建成的。
在训练神经网络的过程中，优化器是必不可少的一部分。
但是AI模型应用广泛，用来训练AI模型的优化器还是手工设计，听起来有些不合理。
所以谷歌大脑的研究人员灵机一动:为什么不用AI做优化器。
在设计上，optimizer的原理是基于元学习的思想，即从相关任务中学习经验来帮助学习目标任务。
与迁移学习相比，元学习强调获取元知识，元知识是一种关于任务的一般性知识，可以推广到更多的任务。
基于这一思路，VeLO还会吸收渐变，自动输出参数更新，无需任何超参数调谐，适应各种需要优化的任务。
在架构上，人工智能优化器由LSTM和超级网络MLP组成。
每个LSTM负责设置多个MLP的参数，每个LSTM通过全局上下文信息相互协作。
在训练中，AI优化器采用元训练，以参数值和梯度为输入，输出需要更新的参数。
经过4000个月的TPU训练，结合各种优化任务的长处，VeLO终于诞生了。
效果优于手动调优优化器。
结果表明，VeLO对83个任务的加速效果超过了现有的一系列优化器。
y轴是加速度与Adam的比值，x轴是任务的比例。
结果表明，VeLO不仅优于不需要调整超参数的优化器，甚至优于一些仔细调整超参数的优化器:
与经典老大哥亚当相比，VeLO在所有任务上的训练速度都更快，其中超过50%的训练速度比调整自己学习速度4倍以上的亚当更快，超过14%的任务学习速度甚至快16倍。
在六种学习任务的优化效果上，VeLO在五种任务上的绩效效果与Adam相当甚至更好:
值得一提的是，VeLO这次也部署在JAX看来谷歌真的推广了这个新框架
巴特，有网友认为训练VeLO需要4000 TPU月，计算成本太高:
虽然这个进步很重要，但它甚至可以赶上GPT—3的训练量。
目前VeLO是开源的，有兴趣的朋友可以试试这个新的AI优化器。
还有一点
前段时间，哈佛的一个博士生提出了一个有趣的想法，得到了很多人的赞同:
Kareem Carr是生物统计学的博士生，他的贡献在生物论文中很常见，之前在AI论文中不多。
不知道以后会不会成为机器学习圈的新趋势。
GitHub地址:
论文地址:
参考链接:
[责任编辑：肖鸥]
郑重声明：此文内容为本网站转载企业宣传资讯，目的在于传播更多信息，与本站立场无关。仅供读者参考，并请自行核实相关内容。
