DDP (Dana Data Platform) 是基于开源技术的成熟大数据商用平台,整合了德拓近几年大数据实践项目中的技术积淀,也包含以Hadoop为主的大数据生态基础引擎。平台涵盖数据采集、存储计算、分析挖掘、应用建模、可视化展现以及运维管理等多维度能力。终端用户可通过丰富的平台接口,完成各行业大规模数据的挖掘分析与应用对接管理。
查看产品彩页DDP借助于开源的技术栈,围绕hadoop生态,建立了开源和自研的一体化技术平台。通过技术团队的不断积累、攻关,逐渐丰满。扎根于底层技术,致力于孵化出更贴合市场需求的技术产品。团队已经产出十余篇专利、20多篇技术论文,对外提供8000多个可用API,扎实运营的同时也不断向外输出技术能力。
在媒体、教育、交通、人工智能等各个领域,基于我们现有的底层数据服务,提供基于行业标准的协议和API支持,助力商业化合作共赢。除此以外,合作伙伴的数据库和数据服务等,也会优先被集成到我们的产品能力中,不断提升产品的市场适应能力。
基于Hadoop全生态构建技术平台,支持Python、Spark、R等开源分析技术,从数据采集、质量探查、数据分析、数据交换等各个场景入手,为各类数据底层服务提供治、管、用的一站式开发平台技术支撑。
DDP不造空中楼阁,所有技术方向都基于市场和客户需求,并且不断面向交付效率迭代升级。历经百余项目的试炼,始终站在客户角度,为用户持续创造数据价值提供源动力。
包含多种数据源的实时抽取、离线抽取等技术引擎。比如:datax、kettle. sqoop. flume。也包含爬虫、日志抽取等特定数据场景的数据抽取引擎。同时提供kafka作为消息中间件进行高效的数据传输交换。
包含多种数据存储服务。提供业务数据库、分布式MPP数据库、分布式内存数据库、融合数据库、图数据库、Nosql等多种场景存储系统,同样支持以Hadoop为主的hive. hbase. kudu等多种存储系统。
提供sparkstream、MapReduce、queryDSL等多种数据分析语法和框架,同时提供图并行计算框架、storm流计算框架。机器学习方面,DDP提供了sparkML机器学习模型架构,同时支持MLLib、tensorflow等机器学习框架。
DDP提供丰富的非结构化数据处理组件,cayman非结构化混合存储网关、leopard媒体文件处理引擎、eel流媒体引擎等,为非结构化数据处理提供丰富技术组件。
DDP提供了一套服务管理引擎,底层计入zabbix支持系统的节点资源管理,各服务的资源和安装部署管理,同时提供统一的监控运维门户和授权管理控制台。
DDP底层灵活接入大数据云操作系统,实现集群资源管理、容器化部署,同IaaS层完美整合。基于Docker容器技术,构建出资源组织与调度完善的多租户体系,从而更好的为企业提供云上的大数据服务。
DDP支撑打造一体化的大数据平台,满足多租户场景下的应用需求,实现租户权限和资源管理,进行表和资源的访问权限控制,保障资源之间的共享与隔离,提供合理高效的作业调度。
DDP打通各种不同系统中的数据边界,抽取来自各业务系统的数据,设计、开发、管理特定主题的数据集市,用于某部门或者某些特殊分析目的。通过系统性的数据整合,避免数据孤岛问题。
DDP用于实现高效的企业数仓建设。在构建数据仓库的完整流程中,利用DDP-HD的工具能力,加速企业数仓落地。确保数据迁移的效率,轻松攻克迁移过程中的技术难题。