• 业务咨询、市场合作:61619362
  • 公司邮箱:support@datatom.com
联系我们  | English

DanaStudio新版发布,数据价值开发更简单

作者:德小拓     来源:站内原创     2020/01/02 11:26:33    

大数据的下半场,因无穷价值而迷人,因杂乱无序而愁人。

 

 

万千大数据领域从业者在大数据治国的国家战略指导下,义无反顾的投身到这片蓝海之中。除了金融等少数行业,其他行业的大数据在前十年中,都在底层技术架构和数据科学的理论上一直在探索和沉淀;未来五年,随着各行业基础信息化建设的完善,数据科学流程的成形,以及大数据底层技术领域的技术的不断成熟和稳定,大数据领域,进入真正的突破阶段。

 

德拓从事大数据价值落地多年,有丰富的大数据的方案经验和落地实践,在此过程中,DanaStudio也应运而生,旨在对下连接各种大数据技术平台,对上承接各种复杂大数据开发和治理需求,降低大数据开发过程中对人的技术要求,加快交付效率,让大数据的项目落地,变的更加便捷、清晰和规范。

 



 

该版本的DanaStudio针对数据治理和数据中心管理的各需求场景,依靠实际项目落地需求和经验沉淀,提供了丰富的落地工具模块。

 

◆ 多门户设计——面向不同角色的数据工作者

企业大数据根据数据治理逻辑,大概的形态分为三个阶段:业务系统中业务化数据——数据中心资产化数据——数据分析应用端价值化数据。而处于不同阶段的数据对应不同的数据工作者,他们对于数据工具的诉求和模式是有一定区别的,传统工具提供大一统的页面门户给到所有数据工作者,很难实现高效和精准的服务和视图。

 

 

DanaStudio根据数据不同阶段的特点和数据工作者的内容,提供了三种数据工作角色数据治理开发者、数据中心管理者、数据分析应用者提供三个产品视图。针对数据治理开发者,提供丰富的数据抽取、治理等实用工具页面,对于数据管理者,提供清晰的主数据的资产管理视图,方便统一维护,而对于数据分析应用者,则更简洁的只关心数据的获取方式即可。

 

◆ 面向场景式抽取——最为重要也是最容易忽略的一环

 

真正做过大数据项目的都知道,万事开头难,对于海量数据保质保量的汇集,是最为头疼的环节,面向不同的业务系统,不同的抽取需求场景等复杂需求。

 

DanaStudio提供了更多面向场景的抽取解决方案。对于全量抽取、单例抽取、实时抽取等不同场景,都提供了更边便捷的无代码化的抽取方式,而且DanaStudio内置的抽取引擎,可以更快速的提升抽取性能,在上海大数据中心测试项目中,抽取性能远高于客户需求,在某农商银行项目上,DanaStudio离线抽取效率2倍于客户之前的抽取速率,得到极大认可。在北京某保险项目,DanaStudio提供了面向mongodb、阿里云数据库等各种复杂场景的实时抽取功能,实现了多种复杂业务系统数据的实时汇聚需求。在沈阳交警项目中,针对交警大数据场景中内外网隔离的特点,通过部署两套DanaStudio,即实现了源端数据快速实时抽取、后端数据离线同步的管理需求,也通过两套产品数据标准一致的特点,实现了内外网数据的交换需求。

 

◆ 数据治理——理论规范化,规范产品化

数据治理是大数据项目中最为复杂环节,方法论有很多,但面向落地便捷、可用的产品工具很少,而且很多项目的治理还是以人力梳理为主,底层大数据的技术应用也错综复杂,难以规范。

 

DanaStudio该版本很大一个升级就是针对项目上数据治理的经验进行了研究和沉淀,形成一套比较规范化的治理流程和轻代码话的数据加工逻辑

 

 

DanaStudio根据大数据治理,数据量大、标准不一、处理人员能力不一、底层处理技术栈繁多等项目实际特点,打磨了一套产品化的数据治理流程。对于原始数据,先进行一系列的探查,形成质检报告和评级,辅助数据治理流程判定是否继续运行,并且对数据的二次治理提供一定的报告依据;继而数据标准化也可以根据数据标准里的代码表去标准化数据,形成统一的数据,便于后期的灵活加工。

 

如下,在某交通事故案例分析项目中,针对原始数据杂乱、重复数据多、字段信息不明等问题,利用DanaStudio快速建立起一整套数据治理流程,输出一套高质量的辅助决策的主题数据信息。

 

 

◆ 底层兼容多家大数据平台——开放的生态,连接共生

DanaStudio定位在大数据开发的工具产品层,当前版本主要对接以hadoop为主的通用大数据技术平台,目前包括Cloudera、星环、华为在内的多家大数据平台都完成了产品对接测试,我们在沈阳交警项目上,基于底层华为大数据平台之上,运用DanaStudio快速实现了数据的各种抽取场景和微治理的需求。在某农商银行项目中,DanaStudio也基于星环大数据平台之上,实现了数抽取性能提速和数据治理的功能。

 

DanaStudio大数据智能开发平台,未来对下会链接更多的通用大数据平台,连接行业生态,实现不同技术平台的统一便捷开发逻辑

 

 

 目前,DanaStudio数智开发平台已成功在北京大童保险、重庆刑侦基层警务、北京智慧朝阳、沈阳交警数据治理、海关总署等项目中落地应用,这其中,既有政府大数据场景,也包括不同行业的企业客户,在不同行业的数据处理诉求中,DanaStudio通过统一的数据治理逻辑,提供一套高效率、低技术成本的工具支撑。

 

 

除此之外,DanaStudio还提供了元数据中的数据标准管理、全局的任务调度、数据发布门户管理、数据交换API等便利功能,相对一些比较成型的工具产品,DanaStudio依附德拓在各行业大数据的项目拓展,不断优化和革新。

 

后续,DanaStudio会在元数据血缘管理、数据资产化管理、数据交换服务等能力上持续优化,不断提供更高效的工具服务,为大数据产业提供世界级明星工具产品,实现连接上层数据科学逻辑和底层复杂技术的一道桥梁,引导创新的大数据工作者新模式!