• 业务咨询、市场合作:61619362
  • 公司邮箱:support@datatom.com
联系我们  | English

DanaStudio V4.6,元数据驱动数据中台化落地

作者:德小拓     来源:站内原创     2020/07/27 10:37:33    

2020年过半,经历了历史厚重的六个月,我们看到越来越多的公众事件,动辄需要利用整座城市的力量,有些甚至要倾举国之力,去协同管控,攻坚克难。

 

当未来面临着更多面向「民生安防、城市管控、协同作战、全局态势感知」的建设需求时,各种信息需要更扁平化的快速汇总,各种知识需要更科学的规范共享,各种数据需要更高质量的有效分析。基于此,国家提出新基建,持续打造「云+大数据的底座」,而数据也将作为「关键生产要素」,走向国家治理的战略核心。

 

DanaStudio V4.6新版本重点打造了元数据体系,提供元数据开发与管理、编目式资产管理、细粒度的权限管控,提供库表的实时采集底层存储扩展支持类型,除支持Hive大数据平台外,新增对Stork单机数据仓库、Teryx分布式MPP型数仓的兼容,为大数据落地呈现更全面、高效的工具化方案。

 

新版本有哪些新的“突破”呢?小拓来给大家揭秘吧。
 

DanaStudio V4.6新版本聚焦5大特点

1.打造统一元数据管理体系;
2.采集功能全面升级支持实时采集场景;
3.灵活的数据编目和标签体系,增加数据管理灵活性;
4.更贴合场景的面向项目、用户组的用户管理体系,以及更细粒度的数据权限管理体系;
5.底层数仓场景支持Stork、Teryx,适配更多不同数据规模场景,同时对python3、hadoop3、php7等底层技术组件进行升级;

统一元数据管理体系
在数据中台的建设过程中,完整且规范的元数据可以给数据开发者提供更全面的基础描述信息、业务维度和质量标签,建立数据更为详细的血缘信息和管理信息。对数据分析而言,可以从多个角度提取数据特征和价值挖掘点,由过去单一业务系统的一潭死水,变为支撑价值挖掘的源头活水。

DanaStudio采用元数据驱动的底层服务设计架构,以元数据为核心,构建其他各个数据功能模块,产品底层元数据分为「技术元数据、业务元数据、管理元数据、服务元数据」,保证数据在开发处理过程中,全程元信息留痕,可以快速、精确定位到需要的数据和相关信息,使得数据全生命周期的管理和应用都得以保障,丰富了数据的描述维度和准确度,是数据治理的基础,也是数据价值挖掘的关键部分。
 

自研数据实时采集架构
当前业内做数据采集以离线采集为主,但随之而来的各种应用需求对于数据的实时性要求在不断增高,另外也需要对数据增删改全量操作信息的同步,来保证数据中台中数据的准确性和一致性,之前我们常采用的一些方案有一定的授权管控和对数据库节点的侵入性,此次DanaStudio底层自研一套实时数据同步框架,可避免该问题,高效实时的汇总数据。

DanaStudio自研的数据实时采集框架,可无侵入式的对接各种通用数据库,进行数据的实时采集,相对目前开源的方案,DanaStudio能够对数据源提供更安全可靠的数据对接方式,数据实时抽取提供延时报警、流量管控、开发者API等多种实时功能,使数据抽取的及时性和准确性进一步提高。

数据编目和标签体系
有别于传统数据工具产品,DanaStudio提供了「多维度的数据编目」功能,根据实际的应用场景提供灵活、易用的数据编目解决方案,让数据工作者更加灵活且准确地找出所需内容;其中,在治理过程中各层的数据编目既可相互独立,也可彼此关联;同时也使数据治理的成果,不仅能让用户看得见、摸得着,并且可以沉淀为用户的数据资产。

 

更细粒度的数据权限管理体系
DanaStudio在项目中不断沉淀优化,建立了更贴合场景的、面向项目和用户组的用户管理体系,以及更丰富的权限管理体系。通过多维度权限配置,实现了功能菜单、资源目录、数据的权限管控,自定义多种角色、用户组满足业务实际场景需要。

同时,在数据资产的视角下,提供了更加灵活数据权限的管控,支持库表级别、字段级的行级、列级控制,根据用户标签实现不同职能权限下的数据动态呈现,更安全、更可靠的满足数据资产、服务的多样化场景。
 




底端兼容——开放的生态,连接共生
DanaStudio产品服务和底层数据技术平台,采用通用协议和松耦合式对接架构,目前已经完成兼容测试,可灵活支持包括DDP、TDH、华为FusionInsightHD、Cloudera的CDH、Hortworks的HDP、电信飞龙平台在内的多家Hadoop体系的大数据平台,适配已经采购其他厂商的大数据平台下的各种场景,同时针对已经用hadoop平台进行一段时间建设的项目提供了很好的兼容性和过渡可行性。

在国产化平台兼容性上,DanaStudio同样灵活,目前已支持华为Taishan服务器、鲲鹏CPU、中标麒麟操作系统等一系列产品化部署方案;

未来,DanaStudio数智开发平台会链接更多的通用大数据平台、国产化要求,连接行业生态,实现不同端台的统一便捷开发逻辑。



目前,DanaStudio数智开发平台已成功在「上海大数据中心、长宁公安、沈阳市公安局、江苏省政务中心、北京地铁、鲁证期货、黎明大学、钱江学院」等项目中落地应用。这其中,既有政府大数据场景,也包括不同行业的企业客户。在不同行业的数据处理诉求中,DanaStudio通过统一的数据治理逻辑,提供一套高效率、低技术成本的工具支撑。



数据中台的架构思路是一种「面向价值挖掘、数据需求及业务场景的先进架构思想」,建立科学合理的数据中台也是目前各企业和政务部门都在探索的领域。数据中台的未来,是面向全域数据提供更自动化、规范化、精确化、智能化的数据要素生产平台,而统一元数据中心的建立,是搭建智能数据中台的核心驱动要素。

DanaStudio 秉承着效率致胜,元数据驱动的产品思路,在已有的元数据体系上,逐步整合数据共享交换、流程化治理、数据质量等模块,还将扩增日志采集、实时计算、数据门户等能力,并在数据采集、数据开发、数据管理、数据服务四大方向上持续优化与完善,持续打造更好的元数据驱动中台工具,坚持价值导向,协助交付创新,赋能合作伙伴,更好地实现德拓信息“让数据更具价值”的美好愿景。