工具栈是什么？
大数据工具栈是什么？
大数据工具栈的价值实践该如何实现？
或许“工具栈”一词对大家来说稍显陌生。以技术栈为例，一般来说技术栈是指将N种技术互相组合在一起(N>1)，作为一个有机的整体来实现某种目的或功能。
比如，开发一个医疗管理系统，你使用了html+css+javascript+jquery+springmvc+hibernate+spring+linux+mysql等等，这些技术就可以称为技术栈。
以此类推，大数据工具栈是指「将N种工具互相组合在一起（N>1），作为一个有机的大数据生态系统实现某种目的或功能」。
那何为德拓大数据工具栈呢？
纵观整个大数据产业，随着各项业务的快速发展，数据中的商业价值也愈发突显，对数据查询、分析等方面的要求同样正在剧增。
德拓信息多年来从事大数据价值落地，力图通过技术赋能，帮助用户智能化的收集、存储、分类、处理、分享、可视、连接和应用数据，加速挖掘、发现和使用数据价值。
这其中，德拓信息DANA大数据工具栈发挥着巨大作用。
DANA大数据工具栈
德拓自主研发的「DANA大数据工具栈」，包括Dana Data Platform（DDP）大数据基础引擎平台、DanaStudio（DS）数智开发平台、PandaBI（PB）数智决策平台，从技术平台（DDP）到数据中台（DS）再到应用前台（PB），涵盖数据集成、数据治理、数据分析、数据资产、数据可视化、数据应用等多个方面，提供数据全生命周期的管控。
DANA大数据工具栈
DANA大数据工具栈的技术底座-Dana Data Platform，是一个开放、合作、包容、通用的大数据基础引擎平台。
其基于大数据的技术需求，提供大数据相关的所有技术引擎，通过标准RestAPI、JDBC/ODBC、SDK等通用协议对上层提供纯粹的技术解决方案服务。
DANA大数据工具栈技术底座-DDP
DANA大数据工具栈数据中台-DanaStudio，是一个面向多用户的一站式大数据协作开发平台，旨在解决结构化、半结构化和非结构化数据的采集融合、数据治理、数据元标准管理、数据管理服务等问题。
DANA大数据工具栈数据中台-DS
DANA大数据工具栈应用前台-PandaBI，是德拓自主研发的一站式数智决策平台，旨在帮助企业快速搭建私有化的数据分析与可视化平台，完成多数据整合，建立统一数据口径，并提供灵活、易用、高效的可视化探索式分析能力，多场景的应用展示能力。
DANA大数据工具栈应用前台-PB
目前，德拓大数据工具栈已覆盖「数字政务、金融证券、媒体文娱、教育科研、轨道交通」等多个行业，大量以政务、事企为代表的信息技术行业客户中，完成了大数据工具栈客户价值实践— “高效”+“易用”的落地。
客户价值实践
若以传统方式实施大数据项目，离不开技术引擎构建、代码化开发、人工填报等手段，存在前期准备时间长、技术负担重、人力投入大、开发周期久、维护成本高等问题。
德拓的“数据工程建设理念”是必须以「工具平台」+「范式流程」的方式持续地对数据进行有效聚合、治理，形成组织可用的数据资产，才能真正发挥数据价值，这也是当前行业内流行的“数据中台”的主要能力。
在实现客户价值的大数据项目的建设中，德拓DANA大数据工具栈高效落地和灵活易用的能力是其作为数据创新领导者的一大利器。
下面将结合德拓在项目中具体的实践经验，分享德拓大数据工具栈在项目中“高效”、“易用”的体现。
上海市大数据中心项目
作为超大城市的上海正致力于建设新型智慧城市，探索“城市大脑”上海模式，构建两张网，驱动精细化城市管理。
在两张网建设中，德拓承担着全市委办局及公用事业等单位的数据归集工作，大数据中心部署了21个DS产品节点，业务覆盖了57个委办局，为大数据中心提供各委办局数据统一归集服务，DS单节点抽取速率达5-7万条/秒，远高于要求指标，获得客户的高度肯定。
此外，德拓提供了数据治理、基础库/主题库建设、数据资产管理、数据共享交换等核心服务。
基于DS的调度总任务数达5500+，日均归集作业总数约6000+，实现批数据接入的统一化、智能化、高效化，实现数据接入全链路工具化。
从数据源头、采集方式、任务管理、性能优化等方面入手，完成批数据接入的综合能力提升，实现了全市57个委办局的数据采集、数据汇聚、数据清洗等工作，解决了政府数据标准不一、数据互通困难、数据冗余与重复计算等众多数据现状痛点，助力上海市政府进一步整合和利用公共数据资源，推进政务服务“一网通办”等电子政务发展，提升了政府治理能力和公共服务水平。
真正切实的体现出DANA工具栈在大数据项目的实施过程中高效落地、灵活易用的成效。
上海申通地铁项目
在上海申通地铁，德拓共部署了3个DANA节点，对行车、客流、保障、组织体系、指挥体系等信息，做了全面化的可视化展示及态势感知，涉及和集成16条地铁线路、415座车站、日均千万人次的实时状态数据，共构建70-80个数据可视化应用界面及数据调控。
基于PandaBI建设的「地铁进博会保障专题大屏」成功保障了进博期间的交通运行，面对巨大人流量和复杂情况做到了更高水平的地铁管理，对地铁运行实时状态做到全面感知，对发生的各种异常情况快速响应和处理。
结合大量轨道交通行业特点进行深度可视化，用户通过一张图可以了解整个轨道交通、全网当中的态势，清晰直观展示客流、行车、客运组织及设备情况，基于场景和关注重点进行灵活变化，在数字化地铁领域的探索和成效上有更进一步的突破。
降低技术成本、灵活业务创新
“高效”+“易用”是德拓打造DANA大数据工具栈的核心目标，旨在「解决如何让数据工程往更高效、易用的方向发展」，即：
>降低数据开发成本：使得工程师无需关注底层构建技术，开箱即用，让低水平的工程师易用、让交付流程高效、让交付周期更短；
>灵活支撑业务创新：模块化功能、标准化流程、场景化管理的工具能力，让工程师更高效与专注地探索业务，具备快速迭代与不断试错的底气，从而更快更高质量地达成客户目标。
未来，德拓数据智能将继续拓宽大数据工具栈的思路，目标着眼于业务场景更加多元化、数据治理更加精准化、数据服务更加高效化、数据决策更加科学化，更好地保障客户的幸福感、安全感，这将是德拓大数据工具栈实践的又一次巨大飞跃。
