数字城市建设 大数据驱动下智慧城市建设的若干思考(3)

徐宗本院士认为：大数据技术是基础性信息技术，它刻画了新一代信息技术中机器与机器、人与机器之间信息交换的内容特征，构成了现代信息技术的基本信息处理模式。本节针对城市中各种海量、异构、多源的数据并结合目前先进的大数据处理前沿技术，探索和设计了一种大数据驱动下的智慧城市技术框架，如图3所示。

本技术框架的总体思路：采用目前先进的分布式并行计算模式Lambda混合架构，即同时进行历史数据批处理和实时数据处理的混搭模式。数字城市建设实时数据进入一个流处理系统进行检测分析，同时也进入Hadoop集群，全量数据放在Hadoop中的分布式文件存储系统（HDFS）里。一是对历史数据进行分析，二是对采集的实时数据进行分析，做到两者数据的融合处理，然后应用程序利用这个“大数据库”做城市中各个行业主题库（例如各种轨迹大数据、交通领域大数据、城市居民的消费大数据、健康医疗大数据、社交媒体大数据、气象环境和空气质量大数据、城市地图和地理信息大数据、制造业工业化大数据等领域）的分析、挖掘、智能计算和可视化展示等，做到了同时处理实时数据和历史数据。纵向处理数据方式遵循“数据采集→数据存储→数据管理→数据分析和挖掘→数据可视化及应用”的多层次技术路线。

本框架既能按照某个行业领域主题构建智慧城市下的“行业私有云”大数据处理技术平台，又能创建某个城市多种数据源公共大数据技术平台。目前更倾向于某个行业下的大数据技术平台，这样更有利于行业大数据的存储管理和垂直主题的挖掘、分析；既能有效保护行业数据资产又能提供精细化、深层次的应用服务。在此，大数据驱动的智慧城市技术框架中的具体技术细节不再阐述，但整个技术框架做到了以海量、异构、多源大数据为基础，先进的分布式并行计算及前沿技术为支撑，应用为导向，监测和安全为保护手段；同时也会考虑标准化的行业规范、法律、法规和有效管理机制作为保障。

大数据驱动下整个智慧城市建设中，应充分考虑到各个不同行业领域数据、数据类型、数据属性。例如针对城市中各种移动轨迹数据进行预测研究，就非常复杂，如图4 所示。若按照城市数据类别、对象分为：各种用户个体、城市用户群体和由城市居民形成的区域性社会数据等；按照城市数据属性又分为时间、空间、时空数据或者离散型和连续型的数值数据等。

针对不同的城市数据类别、对象和属性，采用的处理技术会有异同，有些应用需求强调“时效性”。例如针对支持快速实时查询与处理的智能交通监控数据，可采取分布式的并行计算、Spark内存计算和实时流数据处理模式Spark Streaming等。

面对城市数据源的多元化、异构性、弱关联性等特点，需要能够处理各种数据源的融合计算技术。例如针对城市中某地区环境污染治理预测，不仅要考虑城市中的气候、气象数据、环境污染数据，同时也应考虑该地区的建筑构成、兴趣点（POI）分布、交通工具流量、城市路况、人流量的突变等数据融合计算。

面向城市中的各种视频、音频及图形图像的非结构化数据，需要更加智能的计算处理技术。例如城市中公共安全视频监控、运营商的电话呼叫语音数据、健康医疗行业影像大数据等，都需要利用先进的人工智能算法、深度学习和新的机器学习算法来处理。例如在2015 年12 月出版的《Science》上，Chen等提出类人概念学习，并引起了机器学习领域的广泛关注。

面向城市时空数据的高维、稀疏性以及传统方式下对决策支持的评价尺度单一、缺乏深度等问题，需要新的大数据技术来有效处理；这里强调自动化的可视化技术（automated analytical approaches）。该技术的实质是将数据以形象直观的方式展现，以迭代求精的方式将数据的复杂度降低到人类和计算机能处理的范围，以便以视觉理解的方式获取数据中蕴含的信息，发现非结构化、非几何的抽象数据背后的本质问题。可视化分析展示及应用对于决策支持的评价是非常有效、直观的工具。目前，已有部分相关工作，例如：可视化分析在城市计算中的应用研究，大城市地铁网络客流变化及微博的可视化探索，基于电信数据在城市人类活动共现的可视化分析等。