时间序列应用分析 深度解读：深度学习在IoT大数据和流分析中的应用(2)

CNN和DNN的主要区别在于CNN具有局部相连、权值共享的特性，因此在视觉任务中具有独特的优越性，并且降低了网络的复杂性。

循环神经网络结构图。

RNN主要适用于输入为序列（例如语音和文本）或时间序列的数据（传感器数据）。RNN的输入既包括当前样例，也包括之前观察的样例。也就是说，时间为t-1时RNN的输出会影响时间为t的输出。RNN的每个神经元都有一个反馈环，将当前的输出作为下一步的输入。该结构可以解释为RNN的每个神经元都有一个内部存储，保留了用之前输入进行计算得到的信息。

LSTM记忆单元结构。

LSTM是RNN的一种扩展。LSTM中，每个神经元除了有反馈环这一储存信息的机制，还有用于控制神经元信息通过的“遗忘门”、“输入层门”及“输出层门”，防止不相关的信息造成的扰动。

自编码器网络结构。

AE的输入层和输出层由一个或多个隐层相连接，其输入和输出神经元数量相同。该网络的目标是通过用最简单的方式将输入变换到输出，以重建输入信息。

变分自动编码器结构。

VAE对数据结构的假设并不强，是较为流行的生成模型框架。它很适用于IoT解决方案，因为IoT数据呈现的多样性，以及标记数据的缺失。模型由两个子网络组成：一个生成样例，一个进行假设推理。

生成对抗网络概念图。

GAN由两个神经网络组成，一个生成网络，一个判别网络，共同工作来产生合成的、高质量数据。生成器根据数据在训练数据集中的分布生成新数据，判别器学习判别真实数据和生成器生成的假数据。GAN的目标函数是基于极大极小博弈的，一个网络要最大化目标函数，而另一个要最小化目标函数。

受限玻尔兹曼机结构。

RBM是一种随机神经网络，由两层组成，一层是包含输入的可见层，一层是含有隐变量的隐藏层。RBM中的限制是指同一层的任意两个神经元互不相连。除此之外，偏置单元与所有的可见层和隐藏层单元都相连。

深度信念网络结构图。虚线表示特征提取通道，实现表示生成通道。

DBN是一种生成神经网络，由一个可见层可几个隐层组成。可以提取训练数据的多层表示，并且对输入数据进行重构。DBN的训练过程是逐层训练，将每一层视作一个RBM，在前一层的基础上进行训练。这样的机制使DBN成为深度学习中有效且快速的网络之一。

两层阶梯网络。

阶梯网络在无监督和半监督学习任务中达到了先进的水平。阶梯网络由两个编码器和一个解码器组成。编码器作为网络的有监督部分，解码器进行无监督学习。训练目标是最小化有监督部分和无监督网络的损失和。

使用深度学习模型对数据流进行快速实时的处理仍在起步阶段。早期工作【1】是对超限学习机（Extreme learning machine，ELM）的扩展——OS-ELM，将一个实时序列学习算法应用到单隐层的前馈神经网络。Ren等人【2】提出的Faster-RCNN在图片中的目标检测中达到了接近实时的速度。他们的目标检测框架的运行时间为5-17fps。然而对于图像处理任务，真正的实时效果需要系统的处理和分析时间达到30fps或更高。Redmon等人【3】提出了YOLO，将目标检测的速度提高到45fps，以及更小版本的YOLO，速度更是达到了155fps，已经适用于智能相机。

深度增强学习是将增强学习和深度神经网络相结合的产物。其目标是创建能自主学习的个体（agent），通过建立成功的交互过程以获得长期的最大正反馈（reward）。当环境（environment）可由大量状态表示时，传统的增强学习方法稍显不足，而深度神经网络则弥补了这一点。在IoT领域，【4】使用深度增强学习实现了半监督条件下智能校园环境中的定位。