• 业务咨询、市场合作:61619362
  • 公司邮箱:support@datatom.com
联系我们  | English

郡县治,天下安,德拓助力县域数据治理,探索

作者:余意     来源:站内原创     2020/10/23 09:42:23    

大数据创新经过多年的快速发展,已经比较明显地分为两个阶段,第一阶段是包含数据归集、治理的“数据工程”,第二阶段是价值探索和应用的“业务创新”

 

当下,部分走的比较早的市级政府已经在第一阶段中完成了数据的归集和治理,大步迈入数据价值体现的第二阶段,例如上海市政府已经从大数据中心的归集、治理迈向了“一网通办”、“一网通用”和“随申码”应用。然而在县域级别,目前仍处于数据归集、治理的“数据工程”第一阶段。

 

”郡县治,天下安。”如何在县域级别探索大数据价值,应用于县域治理是一个重要的课题。长兴县大数据发展管理局在2019年下半年多次与德拓沟通,于2019年年末到德拓公司实地考察调研,了解并认可德拓的产品、技术能力。原计划2020年上半年开展的项目,受疫情影响,项目交付团队在2020年7月驻场开展项目建设。

 

长兴县大数据项目,基于长兴县现有各业务部门数据,开展数据治理平台建设、数据标准规范建立、数据质量探查、数据治理加工、数据主题专题应用等方面的建设,促进长兴县整体数据质量的提升,扩展更多的主题专题应用。

 

结合长兴政府的大数据实践,我们认为,实现县域数据治理需完成以下几步:

01 建设治理平台,实现数据治理
“工欲善其事,必先利其器。”数据治理平台的建设,能够优化数据开发人员的工作效率,更实现了数据的统一管理。长兴使用原有CIG平台实现了数据的”管”,使用德拓DanaStudio数智开发平台+DDP大数据基础引擎平台实现了数据的”理”,通过德拓产品实现了数据采集、数据治理、主题融合、专题应用的建设。


02 提升数据质量,夯实数据基础
数据质量的保障,是实现数据价值的前提,各业务部门的数据质量参差不齐,或多或少会出现数据质量问题。根据全国信息技术标准化技术委员会提出的数据质量评价指标(GB/T36344-2018 ICS 35.24.01),数据质量评价包含以下几个方面:
 

01. 规范性:指的是数据符合数据标准、数据模型、业务规则、元数据或权威参考数据的程度;
02. 完整性:指的是按照数据规则要求,数据元素被赋予数值的程度。
03. 准确性:指的是数据准确表示其所描述的真实实体(实际对象)真实值的程度;
04. 一致性:指的是数据与其它特定上下文中使用的数据无矛盾的程度;
05. 时效性:指的是数据在时间变化中的正确程度;
06. 可访问性:指的是数据能被访问的程度。

数据质量的提升,在大数据发展建设过程中,一般分为事前预防、事中监控、事后改善三个阶段来实施:

2.1 事前预防
事前预防可以从两个方面入手:

一是制定质量管理体制,积极引导客户,强调数据管理体制的重要性,建立长效的工作机制,在长兴,德拓正引导客户制定数据管理办法

二是根据国家标准、地方标准、业务标准、行业标准,制定数据质量标准。

2.2 事中监控

事中监控主要是利用平台化手段,对汇集的数据进行探查、清洗、加工、融合,下图为长兴通过DanaStudio数智开发平台数据治理模块对流动人口数据进行数据质量探查:


根据各业务单位数据的属性,长兴制定了下列探查规则:


根据数据探查规则,平台会生成相应的问题数据:


2.3 事后改善
事后改善是通过建立流程和数据治理方法,通过人工、工单、自动化等方式将质量问题修复掉:
2.3.1 建立流程:
通过良性的循环,达到数据质量的提升,长兴数据质量提升的PDCA流程如下:


 

01. 各业务单位上传数据到前置机;
02. CIG平台进行数据接入;
03.德拓DanaStudio平台对接入数据配置探查规则,进行数据探查,并生成问题清单;
04. 大数据局拿问题清单与业务单位进行问题反馈;
05.业务单位对问题数据进行整改,重新上传数据。

 

2.3.2 数据治理方法:
数据去重:对重复数据进行主键去重、业务去重。

数据关联填充或替换:问题数据通过与其他数据关联,能够进行填充或替换。例如:某某的手机号在长兴县户籍人口中数据准确,而在长兴县行政处罚记录中数据错误或缺失,则可以提取户籍信息中的手机号,对行政处罚记录中手机号进行填充或替换。

数据加工:问题数据通过数据加工,使其变为可用数据,例如:Thursday, June 16, 2020 时间格式不符合数据规范,经过数据加工,转换为标准的时间格式。

03 统一数据标准,建立数据规范
数据标准的建立,尤其是对县域的数据治理工作来说,是尤为重要的,基于国家标准、地方标准、业务标准、行业标准,建立起相对完善的数据资源管理标准规范体系,形成规范的数据汇集、治理、融合、质量控制、共享交换的流程机制。

德拓协助客户,根据国家标准、浙江人口库地标委标准、浙江法人库地标委标准,建立了《长兴数据标准规范》;根据数据接入流程,制定了《长兴数据接入规范》;根据数据质量情况,制定了《长兴数据治理规范》。


04 扩展数据应用,创造数据价值
数据价值的体现,主要在于数据应用的扩展。在长兴,目前已建立基于个人户籍信息、个人税务税款信息、个人养老保险信息、个人公积金缴纳信息治理融合长兴非银专题库,提供给银行用于个人征信评估;基于个人户籍信息、地区行政区划信息、个人教育情况、个人社保情况等治理加工长兴村社通主题库。

随着数据价值的不断探索,在未来、在长兴,还将在社会治理、生态文明、民生幸福、经济发展等方向扩展更多的数据应用,为用户创造更多的数据价值。