1.1　人工智能、机器学习和深度学习

深度学习源于人工智能和机器学习。图1-1展示了这三者之间的关系。

人工智能领域诞生于1956年夏天在达特茅斯学院召开的一场论坛。那场论坛提出了很多研究课题，包括数学定理证明、自然语言处理、游戏规划、能够从样例中学习的计算机程序以及神经网络，其中后两个研究课题正是现代机器学习领域的发端。

机器学习旨在开发和评估能够使计算机从数据集（一组样本）中提取（或学习）函数的算法。要理解机器学习，我们首先必须理解三个概念：数据集、算法和函数。

数据集的最简单形式就是一张表，其中每一行是对来自某个域的一个样本的描述，而每一列则是有关该域中的一个特征的信息。例如，表1-1展示了来自贷款申请领域的一个数据集。该数据集包含了四个贷款申请的细节信息。除去为了索引方便而设置的编号信息，每一个贷款申请还包含三个特征：申请人的年收入、当前负债和信贷偿还能力。

算法是计算机能够执行的过程（或程序，好比处方或食谱）。在机器学习中，算法定义了对数据集进行分析并从中发现重复出现的模式的过程。比如，算法可能会找出一个人的年收入和当前负债与他的信贷偿还能力之间的关联模式。用数学语言表述，这种类型的关联关系就是函数。

函数给出了从一组输入值到一个或多个输出值之间的确定性映射。确定性映射是指，对于给定的输入，一个确定的函数总是得到同样的输出。例如，加法运算就是一个确定性映射，2+2的结果一定等于4。除了基本的算术运算，我们还可以在更加复杂的域上构造函数，比如以一个人的收入和负债为输入、以其信贷偿还能力评分为输出的函数。函数的概念对于深度学习同样非常重要，为此，我们不妨再次强调函数的定义：简单地说，函数就是从输入到输出的映射。事实上，机器学习的目的就是从数据中学习函数，而函数可以用多种不同形式表示，包括简单的算术运算（如加法和减法运算都是根据输入值计算出一个标量输出值的函数），由if-then else规则构成的操作序列，以及其他更加复杂的表示形式。

神经网络也是函数的一种表达形式，而深度学习便是聚焦于深度神经网络模型的一个机器学习子领域。深度学习算法从数据集中提取的模式实际上就是用神经网络表示的函数。图1-2展示了一个神经网络的结构。图中左侧的方框表示神经网络的输入，圆圈表示神经元，而每个神经元实现了一个函数：以一组值作为输入，将这些值映射为一个输出值。图1-2中的箭头反映了每个神经元的输出是如何作为输入传输给其他神经元的。在图1-2中的神经网络中，信息自左向右传输。如果训练该网络以根据一个人的收入和负债预测其信贷偿还能力，那么该网络将在其左侧接收收入和负债作为输入，而通过其右侧的神经元输出信贷偿还能力评分。

神经网络使用分而治之的策略来学习函数：网络中的每个神经元学习一个简单函数，而这些简单函数的组合就构成了网络定义的总函数（复杂度更高）。第3章将会详细介绍神经网络是如何处理信息的。