大数据时代下的智慧监测平台设计研究

曲凯, 周洁, 阴璐璐. 大数据时代下的智慧监测平台设计研究[J]. 环境保护科学, 2023, 49(5): 63-67. doi: 10.16803/j.cnki.issn.1004-6216.2022100030
引用本文: 曲凯, 周洁, 阴璐璐. 大数据时代下的智慧监测平台设计研究[J]. 环境保护科学, 2023, 49(5): 63-67. doi: 10.16803/j.cnki.issn.1004-6216.2022100030
QU Kai, ZHOU Jie, YIN Lulu. Research on designing intelligent monitoring platform in the era of big data[J]. Environmental Protection Science, 2023, 49(5): 63-67. doi: 10.16803/j.cnki.issn.1004-6216.2022100030
Citation: QU Kai, ZHOU Jie, YIN Lulu. Research on designing intelligent monitoring platform in the era of big data[J]. Environmental Protection Science, 2023, 49(5): 63-67. doi: 10.16803/j.cnki.issn.1004-6216.2022100030

大数据时代下的智慧监测平台设计研究

    作者简介: 曲 凯(1982—),男,高级工程师。研究方向:环境监测与大数据应用。E-mail:qukai250014@163.com
    通讯作者: 周 洁(1986—),女,工程师。研究方向:环境监测与大数据应用。E-mail:564306464@qq.com
  • 基金项目:
    山东省自然科学基金项目重大基础研究项目(ZR2020ZD21)
  • 中图分类号: X83

Research on designing intelligent monitoring platform in the era of big data

    Corresponding author: ZHOU Jie, 564306464@qq.com
  • 摘要: 以山东省智慧监测平台的建设实践为例,提出了基于中台理念的智慧监测平台设计方式,以数据为驱动,以流程为牵引,打破传统研发模式的孤岛式信息壁垒弊端,推进各类生态环境监测数据有效整合与互联互通,对各环境要素监测业务进行流程再造,建立横向业务协作、纵向业务联动的协同联动体系,从监测要素、监测业务、专项工作等不同角度汇聚融合数据产品和系统成果,实现一网汇聚全省监测动态数据,一屏纵览全省监测业务全局,助力各项监测业务实现全链条智慧化管理,以期达到生态环境监测工作由“人海战”向信息化联合作战的转变。
  • 加载中
  • 图 1  智慧监测平台系统架构设计

    Figure 1.  System architecture of intelligent monitoring platform

    图 2  数据资源中心功能架构设计

    Figure 2.  Functional architecture of data resource center

    图 3  通用组件中心功能架构设计

    Figure 3.  Functional architecture of universal module center

    图 4  业务应用系统功能架构设计

    Figure 4.  Functional architecture of business application systems

  • [1] 柏仇勇, 赵岑. 中国生态环境监测40年改革发展与成效[J]. 中国环境管理, 2019, 11(4): 30 − 33.
    [2] 程春明, 李蔚, 宋旭. 生态环境大数据建设的思考[J]. 中国环境管理, 2015, 7(6): 9 − 13.
    [3] 程麟钧. 我国大气环境监测数据共享技术现状、问题及对策[J]. 中国环境监测, 2016, 32(6): 146 − 147.
    [4] 赵芬, 张丽云, 赵苗苗, 等. 生态环境大数据平台架构和技术初探[J]. 生态学杂志, 2017, 36(3): 824 − 832.
    [5] 张毅, 贺桂珍, 吕永龙, 等. 我国生态环境大数据建设方案实施及其公开效果评估[J]. 生态学报, 2019, 39(4): 1290 − 1299.
    [6] 环境保护部. 关于印发《生态环境大数据建设总体方案》的通知(环办厅[2016]23号)[EB/OL]. [2016-03-07]. http://www.cac.gov.cn/2016-03/18/c_1118376330.htm.
    [7] 韦大明, 孙运海, 陈岩, 等. 我国水环境综合管理平台设计研究[J]. 中国环保产业, 2018(12): 54 − 56.
    [8] 姜华, 陈胜, 杨鹊平, 等. 生态环境科技进展与“十四五”展望[J]. 中国环境管理, 2020, 12(4): 29 − 34.
    [9] 谭虎, 陈晓勇. 详解阿里云数据中台[N]. 中国信息化周报, 2019-10-28(14).
    [10] 高国伟. 阿里巴巴技术中台的“云启示”[J]. 项目管理评论, 2018(2): 26 − 27.
    [11] 孙彩萍, 王维, 何立环, 等. 大气环境科学综合数据采集共享平台建设及应用研究[J]. 环境科学研究, 2021, 34(1): 202 − 212.
    [12] 郭红燕, 王璇, 贾如, 等. 大气监督帮扶对环境治理体系现代化推进效果研究[J]. 环境保护科学, 2021, 47(6): 1 − 5.
    [13] 张进财. 生态补偿机制创新建设与完善[J]. 环境保护科学, 2022, 48(2): 57 − 61. doi: 10.16803/j.cnki.issn.1004-6216.2022-02-012
  • 加载中
图( 4)
计量
  • 文章访问数:  1989
  • HTML全文浏览数:  1989
  • PDF下载数:  21
  • 施引文献:  0
出版历程
  • 收稿日期:  2022-10-17
  • 录用日期:  2022-12-27
  • 刊出日期:  2023-10-20
曲凯, 周洁, 阴璐璐. 大数据时代下的智慧监测平台设计研究[J]. 环境保护科学, 2023, 49(5): 63-67. doi: 10.16803/j.cnki.issn.1004-6216.2022100030
引用本文: 曲凯, 周洁, 阴璐璐. 大数据时代下的智慧监测平台设计研究[J]. 环境保护科学, 2023, 49(5): 63-67. doi: 10.16803/j.cnki.issn.1004-6216.2022100030
QU Kai, ZHOU Jie, YIN Lulu. Research on designing intelligent monitoring platform in the era of big data[J]. Environmental Protection Science, 2023, 49(5): 63-67. doi: 10.16803/j.cnki.issn.1004-6216.2022100030
Citation: QU Kai, ZHOU Jie, YIN Lulu. Research on designing intelligent monitoring platform in the era of big data[J]. Environmental Protection Science, 2023, 49(5): 63-67. doi: 10.16803/j.cnki.issn.1004-6216.2022100030

大数据时代下的智慧监测平台设计研究

    通讯作者: 周 洁(1986—),女,工程师。研究方向:环境监测与大数据应用。E-mail:564306464@qq.com
    作者简介: 曲 凯(1982—),男,高级工程师。研究方向:环境监测与大数据应用。E-mail:qukai250014@163.com
  • 山东省生态环境监测中心,济南 250101
基金项目:
山东省自然科学基金项目重大基础研究项目(ZR2020ZD21)

摘要: 以山东省智慧监测平台的建设实践为例,提出了基于中台理念的智慧监测平台设计方式,以数据为驱动,以流程为牵引,打破传统研发模式的孤岛式信息壁垒弊端,推进各类生态环境监测数据有效整合与互联互通,对各环境要素监测业务进行流程再造,建立横向业务协作、纵向业务联动的协同联动体系,从监测要素、监测业务、专项工作等不同角度汇聚融合数据产品和系统成果,实现一网汇聚全省监测动态数据,一屏纵览全省监测业务全局,助力各项监测业务实现全链条智慧化管理,以期达到生态环境监测工作由“人海战”向信息化联合作战的转变。

English Abstract

  • 近年来,各省、市聚焦打赢污染防治攻坚战,不断加大投入优化完善生态环境监测网络,积极引入信息化辅助手段,建设了涵盖大气、水质、污染源、生态等各环境要素的业务系统[1],但随着信息化建设内容不断深化,之前存在的顶层设计不足、数据标准不统一、系统存在壁垒、信息存在孤岛、业务协同困难等问题逐步显现[2-3]。为此,生态环境部《关于推进生态环境监测体系与监测能力现代化的若干意见》(环办监测[2020]9号)特别要求,建立国家(区域)和地方智慧监测平台,加强监测数据标准化、规范化管理,实现全方位、全要素、全周期监测数据有效整合与互联互通。

    大数据技术是继物联网和云计算之后信息技术产业又一次重要的技术变革,该技术对于处理超出传统数据库系统存储管理和分析处理能力的多源海量数据集群,具有很大的技术优势[4-5]。 党中央、国务院高度重视大数据在推进生态文明建设中的地位和作用。习近平总书记明确指出,要推进全国生态环境监测数据联网共享,开展生态环境大数据分析[6]。山东省具备良好的信息化建设和应用基础,早在2008年就建设了以自动监测、实时监控为目标,覆盖大气环境、水环境、污染源3大要素的环境自动监控系统,是全国较早一批开展物联网感知的省份,监测数据在省、市、县三级生态环境部门共同使用,在全省环境管理中发挥了重要作用。目前,该监测体系已积累了丰富的生态环境监测数据,但随着监测业务不断深化,监测指标不断增加,数据管理和使用仍存在孤岛现象,数据互联互通和共享共用程度还不高。如何实现新老系统有机衔接,把“系统孤岛”连接成“信息岛链”是需要重点解决的问题。迫切需要利用大数据技术,建立综合管理平台,实现数据的安全存储、高效管理、资源共享和协同联动,助力各项监测业务的全链条智慧化管理[7-8]

    • 传统大数据开发模式中,每个应用场景独立开发,会形成许多条块分割信息,经常导致系统存在壁垒、信息存在孤岛、业务协同困难等问题,如何打破信息壁垒弊端,把“数据孤岛”连接成“信息岛链”是需要重点解决的问题。山东省生态环境智慧监测平台采用最新的中台模式[9-10],通过中台作为桥梁连接前台应用与后台数据,实现数据资源的统一汇聚、治理、共享,做到横向上部门互联、纵向上各级贯通,并以结构化、组件化的方式打造业务应用场景,可以在充分利旧的基础上,实现新老系统融合,促进业务应用在各子系统之间“协同办理”和“信息同步”,并持续提供可复用能力,既保障已有场景和未来应用能够形成统一整体,又避免重复建设、实现资源有效集约。

      大数据中台模式采用统一基础框架层、公共中间层、组件应用层的分层架构,通过结构化、组件化的方式开发业务应用系统。一方面建立基于数据中台的数据资源中心,按统一标准对多源异构数据进行汇聚、清洗、存储、共享,提炼形成各个专题库。不同业务系统通过资源中心调取所需数据,同时系统新产生的数据回流到资源中心,反哺补充到各个专题库,保障数据价值持续提升[11];另一方面建立基于业务中台的应用分析底座,通过整合资源,将具体应用功能形成“通用组件”,在每个系统中搭建“联动业务模块”,以微服务接口的方式将“通用组件”与不同的系统建立连接,实现子系统之间的业务连接和信息流动,以期达到“横向要素联动、纵向各级贯通”的目标。

    • 充分利用大数据等新一代信息技术,建设智慧监测平台,加强监测数据标准化、规范化管理,实现全方位、全要素、全周期监测数据有效整合与互联互通,助力实现一网汇聚全省监测动态数据,一屏纵览全省监测业务全局,建立起横向业务协作、纵向业务联动的协同联动体系,助力各项监测业务实现全链条智慧化管理。

    • 统筹考虑各环境要素业务需求,推动现代信息技术与监测工作全面融合,实现省市兼顾,人财物管理与监测业务兼顾,新旧系统兼顾,破除信息孤岛,整合横纵资源,形成一个整体。

    • 采用先进的设计理念,以数据为驱动,通过业务打通和系统对接的方式,实现全链条智慧化管理;采用先进的技术手段,确保系统具有较高的性能和较强的生命力,提高数据的汇聚清洗、关联分析和专题应用能力。

    • 以需求为导向,以实用为目的,做到基础信息“全、多、准”,监测业务横向协同、纵向联动,大力推进“网上办”“掌上办”,实现与大数据其他项目的互联互通,提高业务运行效率。

    • 通过建设统一的数据和业务支撑中台,为已建及待建应用系统提供通用的服务能力,实现资源的有效集约。公共能力建设要符合结构化、模块化要求,从而推进信息化标准的贯彻落实,保障平台体系的完整和灵活。

    • 充分考虑未来省中心和驻市中心的业务发展需要,与事业单位深化改革实现接轨,留好接口,便于后续拓展;在技术上要用成熟的体系架构来构建,充分考虑系统的升级和扩容需要,有较好的兼容性。系统架构设计,见图1

    • 山东省智慧监测平台主要包括数据资源中心、通用组件中心、业务应用子系统、“一张图”可视化展示和保障与辅助体系5部分。

    • 数据资源中心采用数据中台技术,实现数据的采集、存储、管理和分析,为各类应用需求提供数据服务,重点解决统一信息资源采集标准,实现各级、各类监测信息资源的汇聚入库,实现信息资源全生命周期动态管理等问题。整体架构分为数据采集处理层、数据存储分析层和数据服务层。在统一的信息资源规划下,构建基础库、专题库、主题库“三库一体”的监测数据资源中心。其中,基础库用于存储人、财、物、地理信息等子系统共用的基础信息资源;专题库用于存储各要素或各业务室相对独立的数据资源;主题库是关于多个部门协同联动的综合数据资源,强调在基础库和专题库的基础上“共建共享共用”。各业务系统通过资源中心调取所需数据,系统新产生的数据再回流到资源中心,对数据资源进行归集、更新、清洗、入库、共享的全生命周期动态管理,来确保不同系统使用数据的“一致性”,实现跨层级、跨部门的协同联动和信息同步,见图2

    • 通用组件中心采用业务中台技术,重点解决实现老旧系统的数据整合,打破传统研发模式间孤岛式的信息壁垒,监测业务在各子系统之间实现“协同办理”和“信息同步”等问题。通过整合数据资源和技术手段,为前台业务应用和展示层创建一整套标准化、模块化和组件化的服务,实现以“配件组装”“零代码”的方式构建业务应用子系统,从而减少系统的开发成本和周期,增强系统的扩展和升级能力,并为业务子系统之间的横向协同和各层级业务的纵向贯通提供技术框架。该板块主要涉及用户中心、地理信息中心、流程中心、报表中心、任务调度中心、微服务管理中心、算法模型中心等。提供统一的服务管理门户,为业务子系统提供标准化的组件、模块和技术服务,需建设统一的服务架构,具备持续高效的可扩展能力,见图3

    • 业务应用子系统重点解决以下问题:一是建立基本统一的操作界面、查询统计、流程表单和地图服务等“半成品”组件,保持各子系统的协调一致性;二是梳理各监测要素、各监测业务间内在关系,实现分散的子系统之间共性信息及关联业务的有效连接和协同流转;三是满足各要素或各业务室不同深度、特性的业务运转,助力工作流程优化、再造。该板块依托数据资源中心和通用组件中心,以流程为牵引、以数据为驱动,采用整合、改造或新建的方式,将各项业务进行横向贯通和纵向下沉,构建涵盖横向专题业务和纵向联动业务的应用子系统,各子系统形成的数据产品均回流至数据资源中心,为“一张图”展示提供数据支撑,见图4

    • 按照“全面集成、综合展示”的原则,对各业务子系统的数据产品和工作成果进行统一汇聚融合,以“驾驶舱”理念提供“一站式”决策支撑。重点展示以下内容:一是环境状况“一张图”,展示全省、各城市的生态环境质量状况和污染源排污情况;二是监测业务“一张图”,展示全省监测能力现状、年度任务完成情况和各项业务开展情况,分解量化工作目标实施“挂图作战”;三是专项工作“一张图”,展示应急监测、质控检查、采测分离等专项工作开展情况;四是要素专题“一张图”,提取、整合与某一环境要素相关的所有数据和成果,进行全方位的综合集成与展示。

    • 辅助保障体系通过构建数据资产动态监控、平台运行监控、网络运行状态监控功能,及时全面地掌握平台的整体运行指标数据,客观准确地展示平台当前的运行状态,并通过智能分析进行阈值预警,为保障平台的稳定运行提供支持。其中,数据资产动态监控以图形化、可视化的方式,构建覆盖数据全生命周期管理展示界面,形象展示数据来源汇聚、数据资源管理、主题库构建等内容。平台运行监控实时展示平台各模块运行状态的功能,并对这些信息按照多种维度进行搜索和筛选,辅助管理员进行集群、主机等的异常诊断。网络运行状态监控通过使用高性能计算集群管理技术,将松散堆叠的服务器整合为一整套集群系统,实现集群资源统一部署、管理、监控和调度,提高各项应用的计算处理能力。

    • 大数据技术与生态环境监测行业的有机结合是发挥生态环境监测数据应用效益,提高监测监管工作效率,推进环境监测业务革新的重要途径[12-13]。通过智慧监测平台建设应用,可以为生态环境监测业务开展注入新动能,助力由“人海战”向信息化联合作战的转变。

      生态环境监测领域应用信息化技术较早,普遍存在信息孤岛现象,文章提出的中台模式,可以在充分利旧的基础上融合新老系统,实现数据资源跨层级、跨部门的互联互通、共享共用,满足各监测业务不同深度、特性的业务运转和流程再造,促进业务应用系统的协同联动和各级监测工作的上下贯通。

      大数据技术的广泛应用是智慧监测发展的必然趋势,在国-省-市不同层级探索积累经验,可以促进大数据等新技术与环境监测业务的深度融合,有效提升监测感知高效化、分析关联化、应用智能化、测管一体化、服务社会化能力,为环境管理提供有力支撑。

    参考文献 (13)

返回顶部

目录

/

返回文章
返回