时间序列应用分析 深度解读：深度学习在IoT大数据和流分析中的应用

推荐：深度解析 Twitter Heron 大数据实时分析系统

[深度解析 Twitter Heron 大数据实时分析系统]

在物联网时代，大量的感知器每天都在收集并产生着涉及各个领域的数据。由于商业和生活质量提升方面的诉求，应用物联网（IoT）技术对大数据流进行分析是十分有价值的研究方向。这篇论文对于使用深度学习来改进IoT领域的数据分析和学习方法进行了详细的综述。从机器学习视角，作者将处理IoT数据的方法分为IoT大数据分析和IoT流数据分析。论文对目前不同的深度学习方法进行了总结，并详细讨论了使用深度学习方法对IoT数据进行分析的优势，以及未来面临的挑战。

为了更好的在IoT领域内应用深度学习方法，作者分析了IoT数据的关键特征和主要问题。

作者对于目前最先进的深度学习方法及其在物联网领域对于大数据和流数据的应用进行了详细的总结。

作者对于目前应用了深度学习方法的大量IoT应用进行了介绍，并且对不同类型的深度神经网络在各种IoT领域的应用进行了概括和对比。

强调了深度学习与物联网应用成功结合所面临的挑战和未来的研究方向。

目前流数据分析都是基于数据并行计算或增量处理的框架，尽管这些技术减少了从流数据分析框架返回响应的时间延迟，对于IoT应用的严格时间要求，它们并不是最佳方案。IoT需要在数据源附近的平台（甚至是IoT设备自身）上进行快速流数据分析，以达到实时或近实时性的要求，传统的流数据分析方法则面临着计算、存储以及数据源能量方面的局限和挑战。

IoT大数据具有“6V”特点：

容量（Volume）：数据量是将数据集视为大数据、或传统的大规模/超大数据的一个决定性因素，使用物联网设备产生的数据量比以前要多得多，明显符合这一特点。

速度（Velocity）：物联网大数据产生和处理速率要足够高，以支持实时大数据的可用性。鉴于这种高数据率，也证明了需要先进的工具和技术分析才能有效地运作。

多样性（Variety）：一般来说，大数据有不同的形式和类型。这可能包括结构化的、半结构化的和非结构化的数据。各种各样的数据类型可以通过物联网产生，如文本、音频、视频、传感器数据等等。

真实性（Veracity）：真实性是指质量，一致性，和数据的可信性，有真实性的数据才能进行准确的分析。这一点对于物联网来说尤其重要，特别是那些群体感知数据。

易变性（Variability）：这个属性是指数据流的速率不同。由于物联网应用的性质，不同的数据生成组件可能会有不一致的数据流。此外，在特定时间，一个数据源的数据加载速率可能不同。例如，利用物联网传感器的停车服务应用在高峰期的数据加载会达到峰值。

价值（Value）：价值是指大数据转化成为有用的信息和内容，为组织带来竞争优势。数据的价值的高度不仅仅取决于对数据的处理过程或服务，还取决于对待数据的方式。

数据流处理的主要障碍是缺少能部署在系统边缘，甚至是IoT设备上的框架或算法。当采用深度学习方法时，也要折衷考虑运行在系统边缘的网络的深度和性能。

与其他传统机器学习方法相比，深度学习结构在近几年受到越来越广泛的关注。

Google Trend显示近几年对深度学习的关注呈上升趋势。

深度学习整体训练机制

深度学习模型总结。

CNN的核心结构是卷积层，有一系列可学习的参数，称作滤波器。训练过程中，滤波器在全图按照卷积顺序进行移动，计算输入和滤波器的乘积，得到该滤波器的特征图。CNN的另一个结构是池化层，将输入划分成不重叠的区域，然后用每个区域的最大值作为输出。CNN的最后一个结构是ReLU激活函数层，既可以缩短训练时间，也能避免影响网络的泛化能力。