7月22日，德拓DANA家族中的里程碑产品-全新DANA 3.5数智平台正式发布！DANA3.5的发布将助力企业实现更敏捷、更智能、更具洞察力的大数据开发应用。
我们先来听一下”DANA之父”，德拓研发副总裁韩欣对DANA3.5的介绍：“DANA3.5是德拓结合自主研发和开源社区软件进行了功能增强的大数据存储、查询和分析挖掘的统一大数据开发平台，除了兼容对Hadoop、HDFS、Spark等开源框架能力外，德拓DANA v3.5版本还自研了一套大数据开发套件产品, 也称为“数智平台”， 覆盖了大数据融合、大数据存储、大数据分析和大数据可视化展现等完整的业务系统流程。这几大子平台分别是D-Fusion数据融合平台（完成数据收集、清洗、传输），D-Vault统一数据存储管理平台（包括全数据存储仓库，元数据管理等），D-Mining统一计算分析平台（实时计算和批处理计算框架、计算模型建立及机器学习算法等），D-Vision数据可视化平台（通过交互式及自定制等方式实现数据分析结果可视化展现）。 ”
我们知道，DANA 3.1是以大数据技术引擎为核心的产品，是由Crab、Stork、Eagles、Dodo、Leopard、Eel、Teryx等一系列基础大数据引擎服务组成的大数据开发平台。
DANA 3.5则以大数据开发流程为核心，在原有大数据引擎服务基础上，推出“数智平台“概念，旨在为企业大数据开发与实施提供一套完整的一体化大数据开发套件产品，全面覆盖了企业级数据集成、数据仓库、分析计算、机器学习、数据可视化等领域，让大数据开发更加智能化。
我们再来看一下DANA3.5的几个子平台都有哪些魔力。
D-Fusion数据融合平台
D-Fusion面向大数据应用入口，打造完整的数据入口工具链。为数据集成，数据清洗和数据流处理提供可靠的支持。支持多种不同数据库引擎间的数据转换，抽取。支持 No-Sql 数据源和 SQL 数据源之间的数据抽取。支持流式数据的过滤，清洗，转换。主要特性包括：
■高级数据源管理功能，支持MySQL ，PostgreSQL, Oracle, SQLServer等主流数据库系统以及DANA自身的Stork、Teryx等数据管理引擎；
■ 可实现结构化数据的复杂抽取，可以自由组合多种数据抽取流程, 适应复杂的业务需求；
■ 支持数据快速抽取，轻松完成大数据量的库级或表级抽取任务。
■ 提供基于DANA Phoenix引擎的实时数据流服务；
■ 数据流水线支持，可指定数据源和数据输出目标实现数自动流转，并支持自定义Filter对数据进行处理。
■ 支持处理节点的信息查看、状态监控；
■ 支持数据融合任务的备份和恢复。
D-Vault数据统一存储管理平台
D-Vault是DANA大数据开发平台中对所有主数据进行管理的统一存储管理平台，本平台首次对结构化数据和非结构化数据的管理和应用进行初步整合，提供统一的服务视图、数据视图、数据搜索、工作流管理、权限控制和运维监控等功能模块，方便用户针对海量大数据进行统一管理和应用维护。主要特性包括：
D-Vault提供全数据的相关存储引擎的统一管理和运维视图；提供Cayman、Stork、Teryx各数据引擎的统一配置和运维模块；全新支持非结构化混合云存储的管理配置，包括通用共享存储、自研智能对象存储、S3、aws亚马逊云存储、oss阿里云存储等等。
在数据视图方面，D-Vault能够提供全数据的概览统计和细粒化分类统计，为结构化数据、非结构化数据以及OLTP/OLAP混合数据库提供了统一的视图管理，同时集成了Stork管理控制台。
D-Vault还支持高级数据检索、工作流管理以及运维管理、安全控制等诸多特性。
D-Mining统一计算分析平台
D-Mining 大数据计算分析平台是德拓积累了多个大数据项目经验，结合Spark计算框架推出的可靠、安全、易用的一站式大数据计算分析平台。该平台完全兼容Hadoop产品，可结合Hadoop开发计算分析应用，未来包含多个大数据开发套件，本次主要推出三大套件，分别为SQL离线分析、实时计算、和离线计算。
■ SQL离线分析。基于Spark SQL深度优化、研发的跨存储型 SQL离线分析引擎, 可使用标准SQL 2003语句来混合查询Eagles、Stork、Hadoop等存储引擎中的数据，适用于大数据报表分析、复杂关联查询、OLAP应用等应用场景。
■ 实时计算。提供实时计算流数据处理引擎，拥有毫秒级别低延迟和极高的吞吐量，数据源打通Phoenix消息队列，适用于低延迟高敏感、高并发的交易应用、反欺诈应用等应用场景。
■ 离线计算。离线计算分为两种，一种为单点计算，基于Dodo 计算脚本管理的离线计算方式，兼容Dodo作业并可简单迁移上来；另外一种为分布式计算，提供多种经典的分布式算子模型，能够更快速的解决海量数据复杂逻辑计算问题。
D-Vision数据可视化平台
D-Vision 是一个DANA大数据开发平台中自主研发的数据可视化系统。可对多种数据源内数据进行轻量级BI处理和可视化功能，根据实际项目需求提供简洁、实用的操作体验，致力于帮助开发者迅速完成数据的可视化及应用。
■ 支持多种数据源的导入和管理；
■ 业务数据集管理，支持标准SQL查询并对查询结果进行视图展示，支持即席查询、实时查询和定时查询三种策略；
■ 内置柱状图、折线图、扇形图、热点图四大类十一种可视化图表类型组件；支持常规数据聚合方法；支持对素材的高级管理功能，支持拖拽式多维度分析；支持诸多可视化配置属性，包括图表属性、配色方案，等等；
■ 强大的作品发布功能，支持各种可视化作品的统一管理以及布局定义、主题切换、实时预览、URL链接发布等高级特性。
DANA3.5进一步降低了大数据的应用门槛，通过DANA提供的一站式大数据开发套件产品，从数据收集、清洗、开发、调度、部署、存储、建模、BI报表、机器学习，到服务开发、发布， 完善的开发流程指导，内置常用的算法模型，交互式可视化展示系统让任何企业和个人都极为方便的进行大数据开发和应用，将开发人员从重复工作中解放出来，极大的降低了开发人员投入，提高开发效率。同时，DANA3.5完善的平台运维能力将大幅减少开发者在平台管理运维方面的成本。
DANA3.5在正式发布之前，已经在德拓公司内部以及合作伙伴处进行了全面的测试和预览。在某大型能源公司的演示项目上牛刀小试，在短短两周时间内完成了数千万条数据的抽取、处理以及可视化展示等一系列功能的交付。在某海关为客户路演时也得到了用户高度认可。的确，产品化的大数据平台能让客户和开发者联系更加紧密，这也高度符合DANA让大数据开发不断降维、让数据更智能的理念。
正如谢总所提出的，DANA平台承载着让十岁孩子能通过我们探索世界未知的理想，始终以简化大数据开发为使命，将不断的完善大数据技术生态，形成涵盖数据采集、计算引擎、数据治理加工、数据分析、机器学习等大数据开发全栈的技术平台；同时在技术平台之上，DANA还将开拓应用平台生态体系，如推荐引擎、画像、可视化等服务和产品，直接提供企业使用，并组合形成各种不同的解决方案；DANA始终坚持开放，重点向有数据开发能力的团队开放，借助DANA提供的平台和工具，为各行各业提供数据服务，目标计划未来5年内连接100个核心合作伙伴，支撑1000个大数据应用。
了解到德拓DANA3.5数智平台的全新特性后，您是否也想体验DANA3.5更多神奇魔力呢？别急，我们将陆续发布更多的DANA3.5产品资料和开发者指南，敬请关注！
