AI中国网 https://www.cnaiplus.com
Ram Sagar拥有机器人学硕士学位，他的兴趣在于研究人工智能的发展。他最近发现OpenAI在尝试找到一种类似摩尔定律的简单方式，来统一衡量人工智能的进步。人工智能领域的摩尔定律是什么样的？对人工智能的发展又有何意义呢？中兴数据智能为您翻译如下。
Ram Sagar | 撰文
数据君 | 翻译
1965年，Intel联合创始人Gordon Moore在他一篇具有深远影响的文章中预测，集成电路上的晶体管数量每年都会翻倍，这就是大名鼎鼎的摩尔定律。摩尔定律诞生50年后，Intel处理器的性能较1965年版本已经提升了3500倍。目前还没有任何其它技术能以这个速度提升发展。
随着处理器变得更轻更快，计算机世界发生了戏剧性的变化。这一变革最重要的副产品之一就是人工智能形成了自己的领域。而算法的提升，也随着集成电路成功的步伐而不断前进。然而我们还没有像谈论传统计算机那样，在效率方面衡量算法。衡量算法效率的标准通常有精度和得分。
那么，算法也有摩尔定律吗？怎样才能简单明了地描述AI的进步轨迹呢？
位于旧金山的AI研究实验室OpenAI尝试搞清楚这一问题。他们调查了最新的成功案例，并推荐了几个能够对AI进步产生重大影响的措施。
但是，用一种方式来追踪整个AI的发展过程是很困难的，研究人员给出了如下原因：
- 对深度学习进行类似分析是不现实的，因为深度学习寻找的并非是精确的解决方案。
- 性能通常有不同的衡量维度（精确度、BLEU、交叉熵损失等等），并且很多指标的收益难以解释。
- 要解决的问题都是独特的，其难度很难用数据进行比较，因此只能靠直觉来评估具体的问题。
- 大部分研究都专注于整体性能的提升，而不是效率的提升，因此需要额外的工作才能将算法效率带来的收益从其它计算带来的收益中区分开。
- 新基准的实现速度加剧了这个问题。在MNIST数据集上达到人类水平用了15年，而在ImageNet上只用了7年。
衡量算法效率
效率趋势可以跨领域类比，例如基因测序效率每10个月翻倍，太阳能利用效率每6年翻倍，晶体管密度每2年翻倍等等。
OpenAI的Danny Hernandez和Tom Brown进行了一项研究，探讨了AI正高速发展这一普遍观点，以及该领域还有多少增长空间。他们认为AI/机器学习的总体进展是一个至关重要的问题，它可以为讨论提供证据。
在实验中，研究者利用开源再实现来衡量AlexNet级性能长期发展取得的进步。他们发现与ResNet-50级性能在ImageNet数据集上训练效率增速极为相近：每17个月时间减半。
自2012年以来，训练一个神经网络所需的计算量每16个月减半，到现在，计算量已经降为原来的1/44。但同期，根据摩尔定律定律带来的成本提升约为11倍。
芯片制造商Intel基于摩尔定律获得了巨大的成功。他们切实创新，努力兑现承诺，彻底改变了我们的生活方式。同样的，如果从效率角度讨论算法，那么从开发者到决策者，每个人都很容易做出决定。例如，提升算法效率的目标会催生很多实验；如果理解了研究的实质，政府会更愿意投入研究资金；并且，说起效率，我们每个人都能理解。研究人员相信，衡量总体进展将加快未来人工智能研究的速度，其方式在某种程度上类似于进行更多的计算。
核心要点
OpenAI的这项工作雄心勃勃又意义重大。研究者确定了一些能够给算法带来快速提升的技术，例如批处理归一化等等。尽管实验已经覆盖了训练的各个关键方面，但研究者仍然对找到整体衡量标准持开放态度。下面是一些他们的关键发现：
AI的进步是硬件和算法共同作用的结果，两者均无法忽略。这意味着良好的AI进展模型必须整合两者的衡量指标。
效率是一种简单直接的衡量方式，仅仅因为它是所有实验生成的学习曲线中有意义的一个切片。
投入时间和金钱更多的AI任务中，算法效率带来的收益往往超过硬件（摩尔定律）带来的收益。
衡量AI进步至关重要，对决策者、经济学家、企业领导、潜在的研究者以及其他试图克服分歧并决定投入多少金钱和精力的人来说均是如此。
OpenAI的相关研究：
https://openai.com/blog/ai-and-efficiency/#rf3
https://analyticsindiamag.com/openai-ai-progress-efficiency/
AI中国网 https://www.cnaiplus.com
本文网址：
