深（shēn）度学（xué）习算（suàn）法简（jiǎn）介

神（shén）经网络：基础

神经（jīng）网络是一个具有（yǒu）相互连接的（de）节点的计算系统（tǒng），其节点的工（gōng）作方式更像是人脑中（zhōng）的神经（jīng）元。这些（xiē）神经元（yuán）在它们（men）之间进（jìn）行（háng）处理并传递信（xìn）息。每（měi）个神经网络都是一系列（liè）的（de）算法，这些算法试图（tú）通过一个模拟人类大脑运作的过程来识别一组数据中的潜（qián）在（zài）关系。

深（shēn）度学（xué）习算法（fǎ）和经典神经网络之间（jiān）有（yǒu）什么区别呢？最明显的区（qū）别是：深度学习（xí）中使用的神（shén）经网（wǎng）络具有更多（duō）隐藏层（céng）。这些层位于神经元的第一层(即输入（rù）层（céng）)和最后一（yī）层(即输（shū）出层（céng）)之间（jiān）。另（lìng）外，没有必要（yào）将不同层的所有神（shén）经元连接起来。

您应该（gāi）知道的9种深度学（xué）习算法

＃1反向传播（bō）

反（fǎn）向传播算法是一种（zhǒng）非常流（liú）行的用于训练前馈（kuì）神经网络的监督学（xué）习算（suàn）法。本（běn）质上，反向（xiàng）传播计算成本（běn）函数的导数的表达式（shì），它是每一层之间从左到右的（de）导数乘（chéng）积，而每一层之间的权重梯度是对部分乘积的（de）简单修改（“反（fǎn）向传播误差”）。

我们向网（wǎng）络提供数（shù）据，它产（chǎn）生一个输出，我（wǒ）们（men）将输出与期望的输出进行比较(使（shǐ）用（yòng）损失函数)，然后根据差异重新调整权（quán）重。然后重复（fù）此过程。权重的调整是通过（guò）一种称为随（suí）机梯度下降的非线性优化技术来（lái）实现的。

假设由于某种原因（yīn），我们想识别图像中的（de）树。我们向网络（luò）提供任（rèn）何种类的图像，并（bìng）产生输出。由（yóu）于我们知道（dào）图像是否实际上（shàng）有一棵树（shù），因此我们（men）可（kě）以（yǐ）将（jiāng）输出与真实情况进行（háng）比较并（bìng）调整网络。随着（zhe）我们传递越（yuè）来越多（duō）的图像，网络的错误就会越来越少。现在（zài）我们可以（yǐ）给它提供（gòng）一（yī）个（gè）未知的（de）图像，它将告诉我（wǒ）们该图像是否（fǒu）包含树。

＃2前馈神经网络（FNN）

前馈神（shén）经网（wǎng）络通常（cháng）是全连接（jiē），这（zhè）意味着层（céng）中的每（měi）个（gè）神经元都与下（xià）一层中的所有其他神经（jīng）元（yuán）相连。所描述的结构称为“多层感（gǎn）知器”，起源于（yú）1958年。单层感知器只能（néng）学习线性可分离的模式，而（ér）多层（céng）感知（zhī）器则（zé）可以学（xué）习数据之间（jiān）的（de）非（fēi）线（xiàn）性的关系。

前馈网络的目标是近似某个函数f。例如对于（yú）分类，=（x）将输（shū）入x映射到（dào）类（lèi）别（bié）y。前馈网络定义了一个映射y = f（x;θ），并学习（xí）了导致最佳函数逼近的参数（shù）θ的值。

这些模型之所以称为前馈，是因为从x到定义f的中（zhōng）间计算，最后到输出y，没有反馈连接。没有将模型的输出反馈到自身的反（fǎn）馈连接。当前馈神经网络扩展为（wéi）包括反馈连接时（shí），它们称（chēng）为（wéi）循环（huán）神经网（wǎng）络。

＃3卷积（jī）神经网络（CNN）

卷积神经网（wǎng）络（luò）除了为机器人和自动驾驶汽车的视觉提供（gòng）帮（bāng）助外，还（hái）成功的（de）应（yīng）用于人脸识别（bié），对象监（jiān）测和交通标（biāo）志识别（bié）等领域。

在数学中，卷积是一个函数越过另一个（gè）函数（shù）时两（liǎng）个函数重叠（dié）多少的积分度量。

绿（lǜ）色曲线表示蓝色和红色曲线的卷（juàn）积（jī），它（tā）是t的函数，位置由垂直（zhí）的绿色线表示。灰色区域表示乘积（jī）g(tau)f(t-tau)作为（wéi）t的函数，所（suǒ）以（yǐ）它的面积作为t的函数就（jiù）是（shì）卷积。

这两个函数在x轴上每（měi）一点的（de）重叠（dié）的乘积就是它们（men）的卷积（jī）。

在某（mǒu）种程度上，他们尝试对前馈网络进行正（zhèng）则化，以（yǐ）避免（miǎn）过度拟合(当（dāng）模（mó）型（xíng）只学习预（yù）先看到的数据而不能泛化时)，这使得他们能（néng）够很好地识别数据（jù）之间（jiān）的空间关系。

＃4循环（huán）神经网络（RNN）

循环（huán）神经网络（luò）在许多NLP任（rèn）务中（zhōng）都非（fēi）常成功（gōng）。在传统的神（shén）经网络（luò）中，可以理解所有输入和输出都（dōu）是独立（lì）的。但是，对（duì）于许多（duō）任务，这是不合适的。如果要预测句（jù）子中（zhōng）的下（xià）一个单（dān）词，最好（hǎo）考虑一下它前面的单词。

RNN之所以称为循环，是因（yīn）为它们（men）对序列的每个（gè）元素执行相同的任务，并且（qiě）输出取决于先前的计（jì）算。RNN的另一（yī）种解释：这些网络（luò）具有“记忆”，考虑了先前的信息。

例（lì）如，如果序列是（shì）5个单（dān）词的句子（zǐ），则（zé）由5层（céng）组成（chéng），每个单词一层。

在RNN中定义计算的（de）公式如下：

x_t-在时间步t输入。例如，x_1可以是与句子的第二（èr）个单词相对应的one-hot向（xiàng）量。

s_t是步骤t中的隐藏状态。这（zhè）是网（wǎng）络的“内存（cún）”。s_t作为函数取决于先前的状（zhuàng）态和（hé）当前输入x_t：s_t = f（Ux_t + Ws_ {t-1}）。函（hán）数（shù）f通（tōng）常是非线（xiàn）性的，例（lì）如tanh或ReLU。计算第一个隐藏状态所需的s _ {-1}通常初始化为零（零向量）。

o_t-在步骤（zhòu）t退出。例如，如果（guǒ）我们要预测（cè）句子（zǐ）中的单词，则（zé）输出可能（néng）是字典（diǎn）中的概（gài）率向量。o_t = softmax（Vs_t）

图像描述的生（shēng）成

与（yǔ）卷积（jī）神经网络一起，RNN被用作模（mó）型的一（yī）部分，以生成未标记（jì）图像的（de）描述。组合模（mó）型（xíng）将（jiāng）生成的（de）单词与图像中（zhōng）的特（tè）征相结合：

最常（cháng）用的RNN类型是LSTM，它比RNN更好地捕获（存储）长期依赖（lài）关系（xì）。LSTM与RNN本质上（shàng）相同，只（zhī）是（shì）它们具有（yǒu）不同的（de）计算隐藏状（zhuàng）态（tài）的方式。

LSTM中的memory称为cells，您可以将其视为接受先前状态h_ {t-1}和当前输入参数x_t作为输（shū）入的黑盒。在内部，这些cells决定保存和删除（chú）哪些memory。然后，它们将先前的状态，当（dāng）前memory和（hé）输入参数组合在（zài）一起。

这些类型的（de）单元在捕获(存（cún）储（chǔ）)长期依赖（lài）关（guān）系方（fāng）面非常有（yǒu）效（xiào）。

＃5递归神（shén）经（jīng）网络（luò）

递归神经网络是循环网络的另一种（zhǒng）形式，不同之（zhī）处（chù）在（zài）于它们（men）是（shì）树形结构。因（yīn）此，它们可以在训练数据集中建（jiàn）模层次结构。

由于其与二叉（chā）树、上下文和基于（yú）自然语言的解析器的关系，它们通常用于音频到文本转录和情（qíng）绪分析等NLP应用程序中（zhōng）。然（rán）而，它们往往比递归网络慢（màn）得多

＃6自编码器

自编码器可在输出处（chù）恢复输入信号（hào）。它们内部有一个（gè）隐藏（cáng）层。自（zì）编码器设计为无法（fǎ）将输入（rù）准确复制到输（shū）出，但是为了使误（wù）差最小化，网络被（bèi）迫（pò）学习选择（zé）最重要的特征。

自编码器可（kě）用于预训练（liàn），例如，当有（yǒu）分类任（rèn）务且标（biāo）记对太少时。或降（jiàng）低数据中的维度（dù）以供以后可视化。或者，当您只（zhī）需要学习区分输入信号的有（yǒu）用属性时。

＃7深度信念网络（luò）和受限玻尔（ěr）兹曼机器

受限玻尔（ěr）兹曼机是（shì）一个随机神（shén）经网络（神经（jīng）网络，意味着我（wǒ）们有（yǒu）类（lèi）似神经元的单元，其binary激活取决于它们所连接的相邻单元；随机（jī）意味着（zhe）这些激活具有概率（lǜ）性元（yuán）素），它包括：

可见单位层

隐藏单元层（céng）

偏差单元

此外（wài），每个（gè）可见单元连接到（dào）所有的（de）隐（yǐn）藏单元(这种（zhǒng）连接是无向的，所以每个隐藏单元（yuán）也连接到所有的可见单元)，而偏差单元连（lián）接（jiē）到所（suǒ）有的可见（jiàn）单元（yuán）和所有的隐藏单元。

为了（le）使学习（xí）更（gèng）容易，我（wǒ）们对网络进行了限制，使任（rèn）何可见单元都不（bú）连接到任何其他（tā）可（kě）见单（dān）元（yuán），任何（hé）隐（yǐn）藏单元都不连接到任何其他（tā）隐（yǐn）藏（cáng）单元。

多个RBM可以叠加形成一个深度信（xìn）念网络。它们（men）看起来（lái）完全像全连接层，但（dàn）但是它们的训练方式不同。

＃8生（shēng）成对抗网络（GAN）

GAN正在（zài）成为（wéi）一（yī）种流行的在线（xiàn）零售机器学（xué）习模型，因（yīn）为它们（men）能够以（yǐ）越来越高的准确度理解和重建视觉内容。用例包括:

从轮（lún）廓填充图像。

从文本生成（chéng）逼真的（de）图像。

制作产品（pǐn）原型的真实感描（miáo）述。

将黑白图像转换为彩（cǎi）色图像。

在（zài）视（shì）频制（zhì）作中，GAN可（kě）用（yòng）于：

在框（kuàng）架内（nèi）模（mó）拟人类行为和运动的模（mó）式。

预测后续的视频帧。

创建deepfake

生成对抗网络（GAN）有两个部分（fèn）：

生成（chéng）器学习（xí）生成可信的数据。生（shēng）成的实（shí）例成为判（pàn）别器的负面训练实例。

判别器学会从（cóng）数据中分辨出（chū）生（shēng）成器（qì）的假数（shù）据。判（pàn）别器对产生不可信（xìn）结果的（de）发生器进行惩罚。

建（jiàn）立GAN的第一（yī）步是识别所（suǒ）需的最终输出，并根（gēn）据这些参数收集初始训（xùn）练数据集。然后将这（zhè）些（xiē）数据随机化并输（shū）入到生成器中，直到获得生成（chéng）输出（chū）的基本精度为止。

然后，将生成的图像与原始概念的实际数据（jù）点一起馈入判别（bié）器。判别器（qì）对信息（xī）进行过滤，并（bìng）返回0到1之间的概率来表示每个图像的真实性（1与真（zhēn）相关，0与假相关）。然后检（jiǎn）查这些值是否（fǒu）成功（gōng），并不断重复，直到达到预期的结（jié）果。

＃9Transformers

Transformers也很新，它们（men）主要用于语言应用。它它们基于一个叫做注意力的（de）概念，这（zhè）个概念被用（yòng）来（lái）迫使网（wǎng）络将注意力集中在特定的数据点上。

由于（yú）LSTM单元过于复（fù）杂，因（yīn）此可以使用注意力机制（zhì）根据其重要性对输入的不同部（bù）分进行权衡。注意（yì）力机制只（zhī）不过是（shì）另一个具有（yǒu）权（quán）重的层，它（tā）的唯一目的是调（diào）整权重（chóng），使（shǐ）输入的（de）部分优先化，同（tóng）时（shí）排除其他部分。

实（shí）际上，Transformers由多个（gè）堆叠的（de）编码器（形（xíng）成编码器层），多个（gè）堆叠的解码（mǎ）器（解码（mǎ）器（qì）层）和一堆（duī）attention层（self- attentions和encoder-decoder attentions）组成（chéng）

Transformers设（shè）计用（yòng）于处理诸（zhū）如机器翻（fān）译和文本摘要（yào）之类（lèi）的各种任务的有序数据序列，例如自然语言（yán）。如今（jīn），BERT和（hé）GPT-2是两个最著名的（de）经（jīng）过预（yù）先训练的自（zì）然语（yǔ）言系统，用于各种NLP任（rèn）务中，它们都基于Transformers。

＃10图神（shén）经（jīng）网络

一般（bān）来说，非结（jié）构（gòu）化数据（jù）并不适（shì）合（hé）深（shēn）度学习。在许多实际应用中（zhōng），数据是非结（jié）构化的，例如（rú）社交网络，化合物（wù），知识图（tú），空间数据等。

图神经网络的目的是对图数据进行建模，这意味（wèi）着它（tā）们识（shí）别图中（zhōng）节点之间（jiān）的（de）关系，并对其进行数值表示（shì）。它们以（yǐ）后可以在任何其他（tā）机器学习模型中用于各种任务，例如（rú）聚类，分（fèn）类等。