Shai Shalev-Shwartz 教授讲解“基于梯度的深度学习的局限”（Failures of Gradient-Based Deep Learning）的ppt。有一些简单的问题，但深度学习的标准算法不能很好地工作，甚至根本不工作。至少目前我们可能需要重新思考对算法的监督。深度学习算法并不能解决所有问题。这个 talk 尝试解释什么时候，以及为什么深度学习算法不工作。
不能很好地工作的情况：
- 需要对更好的结构/算法选择有先验知识
- 需要梯度更新规则之外的规则
- 需要分解问题，增加监督
完全不工作的情况：
- 没有“本地搜索”（local-search）算法可以工作
- 即使是“漂亮”的分布和指定好的模型也会不工作
- 过度参数化（也就是不正确的学习）
Shai Shalev-Shwartz, Shaked Shammah, Ohad Shamir
The Hebrew University and Mobileye
Representation Learning Workshop
Simons Institute, Berkeley, 2017
Representation Learning Workshop
Simons Institute, Berkeley, 2017
