大数据挖掘与应用中心：多领域研究成果丰硕，承担多项科研项目

hwyzw

    一、中心简介

    大数据挖掘与应用中心专注于对大规模数据感知、采集、保存、处理以及深度挖掘等领域的理论研究、核心技术研发和应用系统构建，依托于国家及重庆市在经济社会发展中的关键科技需求，特别在生态环境、智能城市、医疗卫生等多个行业领域，展开了示范性应用项目的重点布局。

    该中心汇聚了一支由20多位研究人员组成的高素质多学科融合科研队伍，其中7位拥有高级职称。该中心已成功出版了3部学术专著，发表了50多篇学术论文，并提交了20多项国家发明专利申请。

    中心负责了国家科技重大专项、国家自然科学基金等多项国家级、省部级科研项目，共计20多项。这些项目的科研经费总额超过了2000万元。此外，中心已成功搭建了“大数据与智能计算重庆市重点实验室”、“国务院三峡办三峡工程生态环境监测系统在线监测中心”以及“重庆市生态环境遥感监测大数据应用技术协同创新中心”等三个省部级创新平台。除此之外，我们还携手企业共同设立了“洛丁智慧城市技术研发中心”，以及“中科院重庆研究院-深信服大数据智能安全联合实验室”等研发机构。

    二、研究方向

    主要包括1个基础理论，2项关键技术，3项示范应用。

    图1 中心主要研究方向

    1.大数据基础理论

    为了应对大数据在维度高、传输速度快、更新迅速以及价值密度较低等方面的特性，深入探讨大数据在搜集、加工、保存、解读及领会过程中的基本原理，尤其是针对大规模稀疏数据的高效计算理论与方法的深入研究。

    2.大数据共性关键技术

    涉及两大核心技术领域，即大数据分析与大数据管理，同时构建了与之配套的通用技术平台。

    （1）大数据存储与管理关键技术

    针对海量数据的高并发接入处理、数据的快速存储与安全访问、以及数据中心的高效管理与运维等核心技术难题，积极进行数据中心资源与能耗的优化研究，并致力于开发大数据管理平台。

    （2）大数据分析与挖掘关键技术

    专注于探索大数据分析领域的高效计算策略，致力于实现并整合诸如常规数据挖掘技术、前沿的大数据分析技术，以及针对特定应用场景的大数据分析技术，最终研发出专门的大数据分析平台。

    3.大数据行业示范应用

   

    致力于开发适用于实际应用的大数据系统，该系统主要聚焦于生态环境、智慧城市、医疗健康等多个领域，并在此过程中推进了示范性应用项目。

    （1）生态环境大数据

    针对三峡工程生态与环境监测系统信息分析中心的建设，我们致力于研发生态与环境大数据平台及其核心应用系统，以此推动数据的整合、共享及应用。同时，我们进行生态与环境监测领域的新技术、新方法以及新仪器的探索，旨在提高监测的自动化和智能化程度。此外，我们还致力于生态与环境大数据的分析研究，旨在为公众科普教育、生态环境监管以及生态环境决策提供有力支持。

    （2）智慧城市大数据

    以智慧照明为突破口，将WIFI、摄像头、充电桩等多元设备与传感器融入照明系统，进而构建智慧城市大数据平台及应用系统，推动智慧照明、市政管理、安防监控、环保监控、旅游服务、交通管理等多个子系统的智慧化，打造一个综合性的智慧城市应用平台。同时，致力于智慧城市大数据的分析研究及服务推广。

    （3）医疗健康大数据

    致力于探索医疗健康领域海量数据的搜集、整理、保存、分析及安全隐私防护等核心技艺，创新打造医疗健康大数据平台及应用系统。针对低成本医疗需求，着力推进慢性病创新服务的研究，构建慢性病连续服务体系，并研发相应的设备与软件系统。

    三、研究成果

    1、大数据理论与关键技术

    高维稀疏数据分析理论与关键技术是研究热点，这类数据形态，即高维稀疏的碎片化数据，在大数据应用中极为常见。在针对高维稀疏数据的高速分析、特征构建、知识发现以及模式获取等关键问题方面，进行了深入的探究，并提出了诸如增量隐特征分析、非负隐特征分析、非负张量分析以及超限张量分析等一系列理论模型。同时，这些模型被适配于时变趋势分析、知识图谱构建以及模糊概率图分析等具体应用场景，进而形成了相应的实际应用技术。

    图2 高维稀疏矩阵的隐特征分析

    网络信息推荐的理论与核心技术得到了显著进展，该领域的研究推动了网络推荐系统的发展，并衍生出多种高效的网络信息推荐算法。同时，引入了推荐算法个性化这一新颖概念，并对长期有效的推荐系统、数据特征与推荐效果之间的联系、推荐网络的架构等前沿问题进行了全面深入的研究，并取得了系列有价值的成果。

    图3 信息骨架提取过程 图4 不同推荐算法的性能对比

    （3）多粒度时间序列数据挖掘技术。时间序列数据是实际应用中的一种复杂数据类型，它具有高维度、模糊性、不完整和动态等特性。为了解决时间序列数据的这些问题，我们对其表示、预测和异常检测等方面进行了深入研究。在此过程中，我们提出了多种智能分析方法，如基于二维正态云的降维技术、多粒度模糊时间序列预测模型以及时间序列在线异常检测方法等。这些方法被成功应用于生态环境时间序列数据的分析中。

   

    图5 时间序列的二维正态云表示

    大数据管理平台已具备以下特点：首先，它采用了云计算2.0技术框架；其次，它能够自动监控、分配、迁移和综合管理虚拟机等资源；再者，它拥有高级负载均衡和绿色节能的智能调度算法；此外，它还具备对大数据处理平台进行高级负载均衡和平衡加速的先进并行调度技术；同时，它提供了直连文件系统，显著降低了分布式文件系统的使用难度，并提升了文件在分布式系统中的存储效率；另外，它还提供了物联网网关和数据处理功能，能够有效应对海量传感器同时上传数据时的高并发和高吞吐需求；此外，它还具备基于HBase的NoSQL数据库动态索引特性；最后，它提供了一个图形界面化的平台管理系统，提供了便利的综合管理功能，以及多种自动化平台管理机制，大幅降低了大数据平台的使用难度和所需的IT运维人员工作量。

    图6 云计算集群控制框架

    图7 作业调度算法性能

    该大数据分析平台已经成功研发了一套数据挖掘系统，这套系统不仅涵盖了常规的数据挖掘算法，还特别融入了中心自主研发的粗糙集相关数据挖掘算法。

    图8 大数据分析平台

    在国家重大科技专项子课题“三峡库区水生态环境感知平台研制及业务化运行”的资助下，我们已成功建立了开县汉丰湖的水质在线监测站；同时，三峡库区水生态环境感知示范系统也初步形成；此外，我们还搭建了一个多源异构的水环境监测数据汇聚共享平台，能够对大量的自动站水质数据、卫星及浮空器遥感监测数据、人工监测数据、视频数据和水文气象数据进行存储和分析；并且，我们已经开发了一套数据驱动的水生态环境感知推演模型，其中包括水质预测模型、富营养化评价模型、生物生态综合毒性模型以及遥感反演模型。

    图9 三峡水生态环境在线监测示范平台

    智慧照明云管理系统已成功研发，它能够对城市中的众多照明设备进行高效管理，并实现智能化的照明操控。这一技术突破可直接服务于城市公共照明领域，显著减少城市照明的能源消耗和维护成本。同时，通过在照明系统中融入并整合环境传感器、无线WIFI、摄像头等多元感知与应用设备，从而实现涵盖智慧市政管理、智慧安全防范、环境质量监测、智慧旅游服务、智慧交通系统等多项智慧化应用，为构建智慧城市提供切实有效的解决方案。

    图10 智慧照明云管理系统

    联系人：袁野