产品介绍

DDP（Dana Data Platform）是德拓基于开源技术成熟的大数据商用平台，整合了德拓近些年来在大数据项目实践中的技术沉淀。平台涵盖了数据的采集、存储计算、分析挖掘、应用建模、可视化展现、安全管控和运维管理等全部能力。各行业应用和终端用户可以通过平台提供的丰富接口，完成行业大规模数据的存储计算、挖掘分析和应用对接管理。 DDP大数平台由数据传输模块、计算分析模块、DBS数据库服务模块、Hadoop组件服务模块、中间件服务模块和安全运维模组成。

产品特性

异步数据库间数据同步快速扩展

德拓在DataX的基础上贡献了源端Treadata，Gbase8a，Sybase等数据库的数据读写功能，增加了写入目标数据库数据支持正则表达式过滤等功能，同时提供基于CDC方式的实时同步功能。

先进的混合计算架构

采用Hadoop 和MPP融合技术架构，对半结构化和非结构化数据支持并行计算和低成本存储，提供低时延、高并发的查询和分析功能。对结构化数据采用MPP分布式列存储，支持分布式计算、智能索引等功能，实现高性能结构化数据分析处理。集成MapReduce 、Spark、Tez等多种计算框架，利用YARN资源管理做统一管理，可在同一份数据集上运行多种计算。涵盖离线计算、内存计算和流式计算并存，能满足高吞吐、大数据量和低时延实时处理等多方面的数据计算要求。

完整SQL支持

DDP平台目前支持完整的SQL 2003 ，支持运行TPC-DS 标准测试集中的全部99个测试项；同时支持完整的HiveQL 语法和SparkSQL语法，并对这些SQL 语法进行了扩展，对执行计划进行了大量优化。通过UDF函数方式让在DDP平台能更加快速的运行。

强大安全性

DDP平台提供多租户支持，不同租户之间相互隔离。底层使用Kerberos 认证，实现了数据的安全性和隔离性。除了认证系统，利用Ranger 实现了细粒度权限控制，保证了各个租户只能查看授权访问的库、表或字段。此外，平台提供审计功能，通过对用户平台行为的记录、分析和汇报，用来帮助事后生成合规报告、事故追根溯源，提高平台安全性。

核心功能

数据传输模块

包含离线采集和实时同步。离线采集通过并行并发方式稳定高效完整的采集各种数据源的结构化数据，并同时提供数据完整性验证、脏数据归并等功能。实时同步通过将海量实时数据接入到实时数据处理系统中，进行实时处理实时响应，以应对实时决策、实时推荐、实时展示等多种业务需求，帮助企业能够迅速响应瞬息万变的环境，及时洞察新的机会与风险并做出决策。

计算分析模块

包含流处理、批处理、图处理、算法库、交互查询、文件格式和分析工具。流处理基于实时流计算技术，对数据分布式、高效及时的实时流计算处理。批处理基于分布式技术对数据进行大规模的的批量处理。图处理可以对数据进行分布式的图计算和图挖掘。算法库提供Spark机器学习算法和Python算法库用于数据的分析处理。交互查询提供数据的交互式查询引擎可以用于数据在线分析处理。文件格式是用于存储数据的支持格式。分析工具用于web交互式数据分析，支持多种分析语言。

中间件模块

包含元数据网关、消息队列和作业调度器。元数据网关提供统一的元数据采集接口，支持基于JDBC接口的数据源的元数据采集。消息队列提供稳定高效的实时消息订阅发布。作业调度器提供稳定的多任务并发协调调度。

安全运维模块

提供稳定安全的服务认证和授权。

Hadoop组件服务模块

包含Hadoop多种组件服务。Hadoop是一个分布式数据处理系统，对外提供大容量的数据存储、查询和分析能力。

DBS数据库服务模块

包含多种数据库，事务性数据库、分布式MPP数据库、内存数据库以及搜索数据库。事务性数据库基于PostgreSQL封装的的事务型关系型数据库，能够有效处理TB级别的数据量。MPP数据库基于列存储和MPP架构，是为面向结构化数据分析而设计开发的，能够有效处理PB级别的数据量。内存数据库提供极高的IO吞吐、低延迟以及丰富的数据结构。搜索数据库提供了一个分布式多用户能力的实时全文搜索引擎。

应用场景

数据仓库建设

建设大数据仓库，把Oracle、PostgreSQL、MySQL等数据库中的业务数据同步到 Hadoop 数据节点，用户可以借助于Hive、Flink等主流计算框架快速获取数据洞察力。

流式数据处理

通过批流一体分布式同步引擎LinkHub实时采集MySQL、Oracle、SQLServer、Kafka等数据端中实时产生的业务数据。LinkHub 能够实时捕获数据库中的变化数据，并将其转化为流数据进行实时计算和决策。

构建实时数仓

DDP-LinkHub 可以将关系型数据库中的变化数据进行实时抽取和转换，然后将其加载到数据仓库中进行存储和分析。相比传统的批量抽取和转换更快、更实时，更能保证数据的一致性与准确性。

实时监控和报警

实时捕获数据库中的变化数据，并将其转化为流数据进行实时监控和报警。适用于需要对关键业务数据进行实时监控和预警的场景。

DDP