Shai Shalev-Shwartz 教授讲解“基于梯度的深度学习的局限”(Failures of Gradient-Based Deep Learning)的ppt。有一些简单的问题,但深度学习的标准算法不能很好地工作,甚至根本不工作。至少目前我们可能需要重新思考对算法的监督。深度学习算法并不能解决所有问题。这个 talk 尝试解释什么时候,以及为什么深度学习算法不工作。
不能很好地工作的情况:
- 需要对更好的结构/算法选择有先验知识
- 需要梯度更新规则之外的规则
- 需要分解问题,增加监督
完全不工作的情况:
- 没有“本地搜索”(local-search)算法可以工作
- 即使是“漂亮”的分布和指定好的模型也会不工作
- 过度参数化(也就是不正确的学习)

Shai Shalev-Shwartz, Shaked Shammah, Ohad Shamir
The Hebrew University and Mobileye
Representation Learning Workshop
Simons Institute, Berkeley, 2017
Representation Learning Workshop
Simons Institute, Berkeley, 2017











































