随着传统核心应用系统业务规模和系统运行时间的增长,传统集中式架构应用呈现出越来越多的问题,例如单位成本高、并发数受限、无法弹性部署、业务模块间可用性耦合等, 而且无论是应用程序变更还是数据库临时故障,该时间窗口内整套系统均无法对外提供有效服务,系统可用性已受到较大影响。
因此,对大规模集中式应用系统进行分布式改造,将其转变为性价比和吞吐量高、跨平台性好、可自动化弹性伸缩且便于快速响应的分布式系统,提高负载能力和可用性势在必行。
01 传统的核心应用系统
传统的核心应用系统大都采用“大机 + 商业数据库”的方式,经过多年的建设,目前的总体情况如下:
一是在信息化助力业务过程中积累了大量数据资源。从数据类型来看,大量的非结构化数据存储在数据库中,占据了存储容量的90%以上,由此在数据写入过程,对数据读取占用的资源造成了严重的影响,特别是做数据统计分析的过程中,会引起服务器压力过大,程序响应慢等,从而造成业务窗口压力过大。
二是业务信息的快速增长为数据管理和服务带来巨大挑战。随着业务的不断深化,数据内容庞杂、存储分散、访问效率低下、结构不统一等问题限制了科技管理部门对业务数据的管理和维护,传统技术架构下的设备资源存在升级成本高、可扩展性差,导致海量数据的存储、备份、扩容瓶颈和日志信息不易于管理,已成为目前较为严峻和亟待解决的问题。
三是管理业务发展向数据的科学利用提出更高要求。伴随城镇化发展,基础设施(设备)已进入了大规模建设时期。同时,社会转型的压力迫使管理部门需要在工作机制、管理方式、服务群众思路等方面进行创新和改革,除实现业务办理点等OLTP类应用外,通过先进的技术手段,实现大量数据统计分析等OLAP类的应用服务。通过对不同应用场景下的业务进行分割处理,提高平台的服务能力,成为了传统应用平台迫切需要面对的问题之一。
而传统的关系型数据库主要是通过传统的数据组织形式、模型、查询语言及分析技术,聚焦于事务性结构化数据处理。随着业务的快速发展,数据积累和快速增长已超出关系型数据库的管理范畴,影响了应用平台的运行。鉴于上述问题,迫切需要一个具有较强管理能力、高效快速的分布式数据管理平台,全面实现业务与管理数据的整合,解决应用平台压力大的难题。
随着互联网的快速发展,基于互联网基因的分布式存储、分布式计算和分布式服务架构的技术体系逐渐成熟,其形成的高性能、高可靠、高可用和低成本可扩展的特性,给传统的核心应用系统改造提供了新的技术改革思路。
02 分布式管理应用平台目标及要求
提供大数据分布式管理应用平台,主要采用「分布式技术体系」来存储数据,以实现数据汇集、数据存储、数据管理、运行管理和数据服务等功能,与应用平台的无缝对接。
基于当前流行的分布式数据库,首先需要能跟原有的应用平台完全兼容,同时具备先进技术和较强的管理能力,能够高效快速的实现综合应用平台的分布式存储和计算,根据不同的数据内容和特点分门别类存储结构化数据、非结构化数据及日志数据;全面整合各业务与管理数据;管理业务日志等实时数据,并进行统计分析,提高数据处理效率和精准性,优化业务管理水平;保证数据的安全性、系统的稳定性和高可用性。
03 分布式改造技术实施思路及效果
//释放存储、业务减压
采用分布式数据库,把占90%的非结构化图片数据和日志数据与业务数据分开存储,释放OLTP数据库的存储压力,给业务系统减压。通过数据分布式改造,完成包括非结构化数据进入了分布式数据库数据库,日志和业务数据进入了分布式数据库、全文索引数据库和MPP大规模并行处理数据库。
//读写分离、高性能计算提升效率