• 业务咨询、市场合作:+86-021-61619362
  • 公司邮箱:support@datatom.com
联系我们  | English

— 项目背景 —

对大数据资源平台整体而言,应该具备政务云(主机、存储、网络)ETL 平台、数据存储中心(市级数据湖、市级数据库)、数据共享层(业务中台、数据中台、AI 中台)、应用层(一网通办、城运系统、社会治理等)、门户(开放门户、共享门户、运营门户)、数据管理、平台运维&数据运维、数据安全等个层级的能力,其中数据管理子系统是核心中枢,其设计思路是按照数据全生命周期流向实施数据管理(全生命周期数据流向是指数据由部门业务系统出发到数据最终被使用的数据流向)。

— 核心模块 —

数据归集

数据归集工作对应的是整体架构中的ETL平台,是城市级数据中心建设的基础工作,归集的时效、质量、完整度都将对后续的工作产生巨大的影响。德拓基于自研的数智开发平台DanaStudio,对原有的数据归集架构进行了优化,整体效果相较前期架构有了极大的提高,得到大数据中心客户的一致认可,方案主要特点及优势如下:

  • 源端全兼容

    兼容数据源端的各类型主流数据库(包含国产数据库),支持接口、库表、结构化数据、非结构化数据、流数据等。

  • 目标端全兼容

    兼容目标端的多种数据湖,包括星环、阿里等,适配多种写入方式。

  • 一键归集

    无需编程,通过简单配置即可启动数据归集任务。

  • 无侵入式实时采集

    基于自研的数据实时采集框架,可无侵入式的对各种通用数据库进行数据的实时采集,相对目前开源的方案,对数据源提供更安全可靠的数据对接方式,并提供延时报警、流量管控、开发者API等多种实时功能,保证数据抽取的及时性和准确性。

  • 性能卓越

    离线批数据>50000条/秒,文件>600MB/秒,实时归集达毫秒级。

  • 全链路监测

    通过前置节点-中心节点的架构方式,实现数据源到数据湖的全链路监测,厘清委办与中心的数据责任边界。

    数据治理

    中心在数据归集工作的基础上,进一步实现公共数据的整合、共享、开放,逐步实现全市各委办局/区政府按照统一的标准规范,通过全市统一的大数据资源平台整合、管理全市政务数据,并通过数据治理在数据湖的基础上,构建市级数据库(主题库、专题库),以跨地区、跨层级、跨部门的城市级数据中心,支撑“数据驱动”型智慧政府的落地。德拓作为数据治理工作组的主力,牵头参与了包括随申码在内的核心市级数据库的建设工作,整体治理架构及优势如下:

  • 统一元数据架构,驱动数据治理全流程

    采用元数据驱动的底层服务设计架构,以元数据为核心构建其他各个数据功能模块,元数据治理过程分为技术元数据、业务元数据、管理元数据、服务元数据,保证数据在开发处理过程全程元信息留痕,可以快速、精确定位到需要的数据和相关信息,使得数据全生命周期的管理和应用都得以保障,为数据治理提供管理基础,是数据价值挖掘的关键部分。

  • 无代码流程作业+轻量级代码开发,灵活适配初高级别开发者

    基于数据治理工具,提供大部分无代码化的数据处理功能,针对数据初级开发者,在梳理清晰数据开发业务需求之后,可快速无代码完成数据全处理流程。同时在数据处理、加工、计算场景提供轻量级代码开发页面,针对高级开发者提供可更复杂处理数据的能力,适配不同开发角色和开发能力。

    数据应用

    随着中心数据资源平台的逐步完善,无论是领导层、中层还是各部门的基层人员,对于融合数据价值都有了全新的认识,开始从基础的数据归集和展示,向着数据分析挖掘、数据业务流程再造、数据中台能力提升等多个方向进化,而其中的数据分析和挖掘服务,一直以来都是较为直观的数据价值呈现。

    德拓基于数据资源平台,在数据的“通”、“聚”、“管”的基础上,开展了关于“用”探索,在短时间内完成了若干高价值的数据应用场景,包括:

  • 随申码应用建设

    为支撑上海疫情防控工作,重点赋予相关防控、健康等信息,德拓在市大数据中心指导下开展了随申码数据治理建设工作,通过对随申码相关数据进行规范化的汇聚、清洗、融合、分享,提高数据质量、优化识别规则、便捷共享方式,短期内支撑了上海市各类企业利用“随申码”做好疫情防控工作,中期保障了上海市各区安全高效地复工复产,长期则可以通过本次契机打通三省一市的核心数据,赋能“随申办”,助力长三角一体化加速推进。

  • 疫情期间复工复产系列分析+轻量级代码开发,灵活适配初高级别开发者

    基于运营商、卫健、公安、公共事业等数据,对各区各行业复工态势进行研判,包括:各区域、重点行业、重点园区、重点企业复工情况分析,同期比对复工人员高频来源地分析、分析复工人员来源地疫情趋势分析、复工人员来源城市防控能力分析等,实现对各行业的疫情相关经济指标数据与复工指数、复工地域热力分布、经济峰值拐点等重要信息的全概览。

  • 群租空置房分析

    通过大数据手段,以公共事业数据(水、电、气)为切入点,分析识别上海市实际上存在的“空置房”和“群租房”,从这两个角度,为政府完善住房制度,满足老百姓住房市场的多层次需求提供数据参考。

  • 人才引进政策分析

    对上海市通过“人才引进政策” 引进的人才进行画像,从引进渠道、发展现状、行业分布等维度进行刻画,旨在分析出不同类型的引进人才对上海市发展的“贡献”,为后续的政策调整提供数据决策支撑。

  • 外来车辆管理政策分析

    对上海市的外来车辆进行模型刻画,对外来车辆的出行时间、时耗、轨迹特征等进行分析提炼,掌握外来车辆出现规律,寻找外来车辆有效管理和出现便捷之间的平衡点,为后续的政策调整提供数据决策支撑。

    在线客服

    大数据产品业务咨询

     

    云计算产品业务咨询

     

    售后咨询