DanaStudio数智开发平台是面向开发者、数据管理者、数据应用者提供的一站式大数据协作开发、管理平台,致力于解决结构化、半结构化和非结构化数据的采集融合、数据治理、元数据管理、分层管理、交换服务等问题。
查看产品彩页DanaStudio基于数据流转的科学产品设计,完善的作业调度,提供了数据采集、标准管理、治理加工、数据管理、项目管理多个维度的协同能力。
面向场景的技术抽取解决方案,开源加自研算法,对数据一致性和性能更有保障。基于Hive、MPP等场景的数仓架构,提供完善的平台能力,轻易地构建不同领域的解决方案,满足不同类型的业务需求。
基于业务场景设计的治理界面提高了系统的易用性,结束了代码化、脚本式的繁琐治理状态。数据开发工程师通过便捷交互即可完成数据融合、质量探查、标准加工、服务应用相关工作。
数据地图主要提供全平台级别的的数据链路展示和运维监控,对采集任务、治理流程、工作流作业、数据中心、数据应用等各个模块,便于用户进入平台就马上发现问题,快速运维。
DanaStudio支持针对结构化数据的元数据管理功能,支持数据标准的管理、代码表管理,以及自定义标签管理功能,支持技术元数据的质量监控和数据标准的导入和自定义编辑功能。
DanaStudio支持数据webUI式的无代码采集功能,支持数据的实时抽取、离线抽取、全量抽取、增量抽取、日志抽取等多种数据抽取场景,提供数据源的单独管理功能,提供数据源的定时心跳检测。
DanaStudio支持丰富的数据治理功能,包含数据质量探查、深度探查、数据标准化、中间数据留存、数据加工池等功能,提供UDF函数的管理和自动治理功能,同时提供开发者自定义脚本的治理视图,更好的兼容各种复杂治理场景,支持shell、SQL、Python、php等多种治理开发脚本。
提供全局任务统一管理视图,支持流式任务调度管理、分布式任务负载、任务优先级配置等任务调度功能,支持灵活的时间配置策略以适应各种任务场景。
数据管理员的视角提供各层数据管理的视图,包含主数据、元数据、中间数据、质检报告,主数据更是分为汇聚层数据、治理层数据、主题层数据、专题层数据多种数据管理视图。
管理对底层Hadoop大数据技术平台的接入管理,可对接所有通用协议的Hadoop大数据平台,灵活对接各种原平台和其他Hadoop厂商的大数据平台。
开发者数据中心视角提供开发者有权限接触的全维度的数据资产,更便捷的管理自己的数据资产和内容。
提供专题层的发布功能和管理视图,提供单独的数据门户供第三方数据使用者查看和申请数据资源,以API的形式提供数据的接入和访问全控。
DanaStudio提供实时抽取、离线抽取、批量抽取等多种面向场景的抽取工具栈,同时支持非结构化的数据抽取方式,提供RestAPl、S3/swift. SDK、ftp等多种通用抽取方式,可快速应对各种数据抽取场景。
DanaStudio提供标准的数据治理流程,包含数据质量探测、数据质检报告、数据标准化以及各种复杂的数据加工场景,针对数据治理类项目可快速上手,应对不同数据治理需求。
DanaStudio提供三种数据管理视图,数据开发、数据管理、数据应用门户,针对不同的角色看到不同的数据管理视角,针对开发者、数据管理者以及数据使用者都有不同的视角门户。
DanaStudio对数据中心的数据提供API网关的数据交换方式,可对外提供自动生成的API辅助数据应用,专用的API授权体系保证了数据的安全性和权限管控,便捷的数据门户可让数据使用者自由的定制需求数据。