来源:2020-07-27 00:00:00 热度:

趋势丨设计的代价:深度学习已经接近计算极限

AI中国网 https://www.cnaiplus.com

前言:

关于深度学习,它正在快速接近其极限。虽然事实可能的确如此,但我们仍未能在日常生活中感受到全面部署深度学习的影响。

MIT:算力将探底,算法需改革

近日,MIT发出警告:深度学习正在接近现有芯片的算力极限,如果不变革算法,深度学习恐难再进步。

根据麻省理工学院,MIT-IBM Watson AI实验室,Underwood国际学院和巴西利亚大学的研究人员在最近的研究中发现,持续不断的进步将需要通过改变现有技术或通过尚未发现的新方法来更有效地使用深度学习方法。

目前深度学习的繁荣过度依赖算力的提升,在后摩尔定律时代可能遭遇发展瓶颈,在算法改进上还需多多努力。

深度学习不是偶然的计算代价,而是设计的代价。共同的灵活性使它能够出色地建模各种现象,并且性能优于专家模型,这也使其在计算上的成本大大提高。

研究人员估计,三年的算法改进相当于计算能力提高10倍。总体而言,在深度学习的许多领域中,训练模型的进步取决于所使用的计算能力的大幅度提高。 另一种可能性是,要改善算法本身可能需要互补地提高计算能力。

在研究过程中,研究人员还对预测进行了推断,以了解达到各种理论基准所需的计算能力以及相关的经济和环境成本。

即使是最乐观的计算,要降低ImageNet上的图像分类错误率,也需要进行10的五次方以上的计算。

根据多项式和指数模型的预测,通过深度学习获得相应性能基准所需的算力(以Gflops为单位),碳排放量和经济成本,最乐观的估计,ImageNet分类误差要想达到1%,需要10^28 Gflops的算力,这对硬件来说是不小的压力。

123下一页>

件后,将会依法尽快联系相关文章源头核实,沟通删除相关内容或断开相关链接。 )

  • 三菱综合研究所:2030年人工智能或导致240多万日本人失去工作
  • 微软CEO纳德拉:人工智能仍处于“大型主机时代”
  • 陆奇任百度COO主攻人工智能 短期或难助撑营收
  • 赢了人机大战的不是机器 而是我们自己
  • 人类下棋不如“狗”,以后可能炒股也不如了

AI中国网 https://www.cnaiplus.com

本文网址:

欢迎关注微信公众号:人工智能报;合作及投稿请联系:editor@cnaiplus.com

AI中国号...

关注微信公众号,了解最新精彩内容