Shai Shalev-Shwartz:基于梯度的深度学习的局限

Shai Shalev-Shwartz 教授讲解“基于梯度的深度学习的局限”(Failures of Gradient-Based Deep Learning)的ppt。有一些简单的问题,但深度学习的标准算法不能很好地工作,甚至根本不工作。至少目前我们可能需要重新思考对算法的监督。深度学习算法并不能解决所有问题。这个 talk 尝试解释什么时候,以及为什么深度学习算法不工作。

不能很好地工作的情况:

  • 需要对更好的结构/算法选择有先验知识
  • 需要梯度更新规则之外的规则
  • 需要分解问题,增加监督

完全不工作的情况:

  • 没有“本地搜索”(local-search)算法可以工作
  • 即使是“漂亮”的分布和指定好的模型也会不工作
  • 过度参数化(也就是不正确的学习)

 

 

Shai Shalev-Shwartz, Shaked Shammah, Ohad Shamir

 

The Hebrew University and Mobileye
Representation Learning Workshop
Simons Institute, Berkeley, 2017

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

 

推荐文章

沪公网安备 31010702002009号