深度学习的局限性首先是这个逆否命题:我们居住的世界具备的数据并不是无穷多的。依赖于深度学习的系统经常要泛化至未见过的数据,这些数据并不是无穷大的,确保高质量性能的能力更是有限。我们可以把泛化当作已知样本之间的内插和超出已知训练样本空间的数据所需的外插。
对于泛化性能良好的神经网络,通常必须有大量数据,测试数据必须与训练数据类似,使新答案内插在旧的数据之中。在业界的论文中,一个具备 6000 万参数和 65 万节点的 9 层卷积神经网络在来自大概 1000 个类别的约 100 万不同样本上进行训练。这种暴力方法在 ImageNet 这种有限数据集上效果不错,所有外部刺激都可以被分类为较小的类别。它在稳定的领域效果也不错,如在语音识别中,数据可以一种常规方式映射到有限的语音类别集中,但是出于很多原因,深度学习不是人工智能的通用解决方案。
以下是当前深度学习系统所面临的十个挑战:
1、目前深度学习需要大量数据
人类只需要少量的尝试就可以学习抽象的关系,而深度学习不行,对于没有大量数据的问题,深度学习并不是理想的解决方案。
2、深度学习目前还是太表浅,没有足够的能力进行迁移
通常情况下,深度学习提取的模式,相比给人的第一印象,其实更加的表面化。
3、迄今为止深度学习没有自然方式来处理层级架构
循环网络能力依然有限,不足以准确可靠地表达和概括丰富的结构信息。
4、迄今为止深度学习无法进行开放式推理
对于人类来说,我们在阅读文本时经常可以进行广泛的推理,形成全新的、隐含的思考,例如仅仅通过对话就能确定角色的意图。但目前来看,没有哪个深度学习系统可以基于真实世界的知识进行开放式推理,并达到人类级别的准确性。
5、迄今为止深度学习不够透明
大多数观察者都认为,神经网络整体看来仍然是一个黑箱。从长远看,目前这种情况的重要性仍不明确,如果系统足够健壮且自成体系,则没有问题;如果神经网络在更大的系统中占据重要的位置,则其可调试性至关重要。为解决透明度问题,人类必须了解系统是如何做出决策的,否则这种不透明会导致严重的偏见问题。
6、迄今为止深度学习并没有很好地与先验知识相结合
深度学习的一个重要方向是解释学,就是将自身与其他潜在的、有用的知识隔离开来。与分类离得越远,与常识离得越近的问题就越不能被深度学习来解决。这些对于人类而言非常简单的问题需要整合大量不同来源的知识,因此距离深度学习受用风格的分类还有很长一段距离。相反,这或许意味着若想要达到人类级别的灵活认知能力,我们需要与深度学习完全不同的工具。
7、迄今为止深度学习还不能从根本上区分因果关系和相关关系
如果因果关系确实不等同于相关关系,那么这两者之间的区别对深度学习而言是一个严重的问题。
8、深度学习假设世界是大体稳定的,采用的方式可能是概率的
深度学习的逻辑是:在高度稳定的世界(比如规则不变的围棋)中效果很可能最佳,而在政治和经济等不断变化的领域的效果则没有那么好。
9、迄今为止深度学习只是一种良好的近似,其答案并不完全可信
这个问题部分是本文中提及的其它问题所造成的结果,深度学习在一个给定领域中相当大一部分都效果良好,但仍然很容易被欺骗愚弄。
10、迄今为止深度学习还难以在工程中使用
有了上面提到的那些问题,另一个事实是现在还难以使用深度学习进行工程开发。机器学习在打造可在某些有限环境中工作的系统方面相对容易(短期效益),但要确保它们也能在具有可能不同于之前训练数据的全新数据的其它环境中工作却相当困难(长期债务,尤其是当一个系统被用作另一个更大型的系统组成部分时)。
结语:当然,深度学习本身只是数学,上面给出的所有问题中没有任何一个是因为深度学习的底层数学存在某种漏洞。一般而言,在有足够的大数据集时,深度学习是一种用于优化表征输入与输出之间的映射的复杂系统的完美方法。真正的问题在于误解深度学习擅长做什么以及不擅长做什么。这项技术擅长解决封闭式的分类问题,即在具备足够多的可用数据以及测试集与训练集接近相似时,将大量潜在的信号映射到有限数量的分类上。偏离这些假设可能会导致问题出现,深度学习只是一种统计技术,而所有的统计技术在偏离假设时都会出问题。当可用训练数据的量有限或测试集与训练集有重大差异或样本空间很广且有很多全新数据时,深度学习系统的效果就没那么好了。而且在真实世界的限制下,有些问题根本不能被看作是分类问题。比如说,开放式的自然语言理解不应该被视为不同的大型有限句子集合之间的映射,而应该被视为可能无限范围的输入句子与同等规模的含义阵列之间的映射,其中很多内容在之前都没遇到过。在这样的问题中使用深度学习就像是方枘圆凿,只能算是粗略的近似,其它地方肯定有更好的解决方案。