1.激活函数（激活函数）为了使神经网络学习复杂的决策边界（决策边界），我们将非线性激活函数应用于其某些层。常用的函数有S型，tanh，ReLU（已认证线性单元）以及这些函数的变体。 2. Adadelta Adadelta＆amp; nbsp;是一种基于梯度下降的学习算法，可以随着时间的推移调整每个参数的学习率。它比超参数更敏感，并且可能会降低学习率。 Adadelta与rmsprop相似，可以代替香草SGD使用。论文：Adadelta：一种自适应学习率方法3. AdagradAdagrad是一种自适应学习率算法，它可以随时间跟踪平方梯度，并自动适应每个参数的学习率。它可以用来代替vanillaSGD（#sgd）。对于稀疏数据特别有用。它可以将较高的学习率分配给更新频率较低的参数。论文：用于在线学习和随机优化的自适应次梯度方法4. AdamAdam是类似于rmsprop的自适应学习速率算法，它使用直接估算的梯度的第一和第二矩的运行平均值，并且存在偏差校正功能。论文：亚当：一种随机优化方法5.仿射层这是神经网络中的完全连接层。仿射是指上一层中的每个神经元都连接到当前层中的每个神经元。在许多方面，这是“标准”。神经网络层。仿射层通常在进行最终预测之前被添加到卷积神经网络或递归神经网络的顶部。仿射层的一般形式是y = f（Wx + b），其中x是层输入，w是参数，b是偏差矢量，f是非线性激活函数。 6.注意力机制（Attention机制）注意力机制是由人类的视觉注意力所激发的，是一种关注图像特定部分的能力。注意机制可以集成到语言处理和图像识别体系结构中，以帮助网络学习进行预测时要重点关注的内容。 7. Alexnet Alexnet是在2012年ILSVRC挑战赛中赢得巨大优势的卷积神经网络体系结构的名称。它使人们重新关注用于图像识别的卷积神经网络（CNN）。 。它由5个卷积层组成。它们中的一些后面是最大池化层和3个完全连接的层，其中最后一个1000条路径具有softmax（1000路softmax）。使用深度卷积神经网络将Alexnet引入ImageNet分类。 8.自动编码器自动编码器是一种神经网络模型。其目标是预测输入本身。这通常是通过“瓶颈”解决的。网络中的某处。通过引入瓶颈，网络可以学习输入的低维表示，从而将输入压缩为良好的表示。自动编码器与降维技术（例如PCA）有关，但是由于其非线性特性，它们可以学习更复杂的映射。已经有一些自动编码器涵盖了广泛的范围，包括降噪自动编码器，变分自动编码器和序列自动编码器。去噪自动编码器论文：堆叠式去噪自动编码器：使用局部去噪标准在深度网络中学习有用的表示论文：自动编码变分贝叶斯序列自动编码器论文：半监督序列学习平均池是一种用于卷积神经中图像识别的合并技术网络。它的原理是在特征的局部区域上滑动窗口（例如像素），然后取窗口中所有值的平均值。它将输入表示压缩为低维表示。 10.反向传播反向传播是一种用于有效计算神经网络中的梯度的算法，也称为前馈计算图。它可以归结为从网络输出开始应用微分链式规则，然后向后传播梯度。论文：通过反向传播误差来学习表示XI。时间反向传播BPTT：时间反向传播