• 业务咨询、市场合作:61619362
  • 公司邮箱:support@datatom.com
联系我们  | English

德拓INFINITY助力青岛大学建设非结构化云存储平台

作者:德小拓     来源:站内原创     2020/07/28 09:38:09    

非结构化数据增速迅猛,数据存储管理难题凸显

IDC预测,2018至2025年间,全球产生的数据量将会从33ZB增长到175ZB,复合增长率达27%,其中超过80%都是难以管理的非结构化数据。如今,物联网、工业4.0、ADAS、自动驾驶、在线教育等新兴技术的快速发展、应用产生了更多的非结构化数据;而人工智能、机器学习、语义分析、图像识别等技术的发展则需要大量的非结构化数据来支撑。

 

而如何对非结构化数据进行有效管理、充分利用,使诸多数据资源转化为真正有价值的数据资产,许多企业、高校等组织仍然面临许多挑战:
 

● 数据资源被分别存放在不同的存储服务器及应用系统中,相对孤立,形成了各类「数据存储孤岛」;同时,存储类型复杂,导致数据无法互通,无法整合应用,无法观其全貌,形成了数据与用户之间的障碍;
 
● 非结构化数据具有多类型、多格式及体量大的数据特性,这些特性给非结构化数据在不同系统、不同应用、不同设备之间的资源调用造成了巨大障碍;
 
● 资源没有实现统一存储、整合,分布在不同的业务系统中,即使知道数据资源的存在,但由于业务系统间使用权限的区隔,也无法查询、调用数据。

针对高校非结构化数据存储、应用难题,德拓联合高校打造的非结构化云存储平台,具有海量、安全、高效的非结构化数据存储能力,同时,能够真正盘活数据资源,为高校的日常教学、科学研究、校园活动等提供全面的数据服务、支持。

基于高校应用的非结构化数据统一存储解决方
青岛大学是由山东省与青岛市共建的山东省属重点综合大学,学校有浮山校区、金家岭校区、松山校区三个校区,设有36个学院和医学部,超100个本科专业,现有在校生46000余人...因此,在学校信息化建设过程中,势必会产生大量以教学与办公应用为核心的非结构化数据,占到学校数据总量90%以上,包括电子教案、专家讲座、精品课程、电子图书、党建思政、各类活动资料、规章制度、消息通知等。

大量的数据被存放在不同的存储系统、应用系统、个人电脑及孤立型设备(U盘、光盘、移动硬盘等)中,由于存储介质本身易损的特性,很容易因为硬件设备的意外损坏造成不可估量的数据资源损失;再者,公共性的资源被存储于不同部门的数据平台,外部无法访问,对资源的共享造成了严重的障碍。这些类型的资源应用及安全障碍都对非结构化数据资源的沉淀与利用造成了不利影响,成为了青岛大学非结构化数据存储面临的最大挑战。

青岛大学信息中心围绕学校《智慧校园顶层设计规划》,遵循学校云平台框架,建设学校统一非结构化云存储平台,按照集约化建设的原则,进行资源的统一调配,形成一校多地分布式数据中心布局,有效提升学校非结构化数据存储、管理、灾备能力,实现非结构化数据资源的集约化建设和共享有机融合。

存储配置
本次项目采用德拓INFINITY分布式集群云存储,可以同时提供文件服务、块服务、对象服务等多种服务方式,充分满足网络中心私有云业务系统对于存储应用的需求。

项目采用的单个存储节点可提供800MB/S以上读写带宽,整套存储系统可提供总带宽4.8GB/s,未来可根据节点数量增加线性增长带宽,最大可以扩展至 1024 个节点;本次分布式集群裸存储容量为720TB(不含SSD空间),所有存储节点都可同时在线提供服务,实现各节点自动的负载均衡;支持在线扩容、加入新节点至原集群中时,原有集群内的数据会新分布到新节点上。

在数据安全方面,采用N+M纠删码安全策略,可以支持硬盘、网络、节点等多维度保障,同时存储自带数据同步复制功能,可以有效的对重要数据进行复制备份。

存储资源池的建立,可创建多个资源池来支持不同业务使用。

● 采用SSD资源池Pool:提供 FC、ISCSI、RBD块级接口协议,为Vmware平台提供Share-disk(格式化成vmfs文件系统),用于存放和运行虚拟机镜像文件使用;
● 使用SATA磁盘资源池Pool:提供NAS文件级和S3对象接口协议,为应用业务系统存储数据资料使用。

网络配置
青岛大学网络中心采用Spain-Leaf叶脊网络架构设计,具有带宽利用率高、网络延迟可预测、可水平扩展带宽、服务器数量水平扩展、单个交换机要求低、高可用性强大、可扩展性好等特点。

同时学校网络中心网络使用分为underlay和overlay两大部分,underlay主要负责Vmware主机的通讯,Overlay负责应用通讯,同时在Overlay边缘配置有防火墙来保障外网与数据中心内部之间通讯的安全。

此次项目使用的INFINITY分布式集群云存储,将部署于underlay网络中心内部,网络部分采用冗余架构设计,将不同的两个网口通过Channel绑定使用(同时连接到不同交换机),在保证存储访问网络带宽高的情况下,还可提供网络链路安全冗余,任何一段网络故障都不会影响整体业务系统运行
 

业务配置
青岛大学业务应用系统使用分布式云存储,可分为几种使用类型:
 

● 业务系统数据存储应用:通过NAS文件级共享访问协议使用(CIFS、NFS、FTP等);
 
● 虚拟机镜像文件应用:通过块级协议映射使用(FC、iSCSI、RBD),将划分出的Volume分配为Vmware宿主机使用;Vmware将该Volume进行纳管提供Sharedisk共享空间用于存放虚拟机vmdk等镜像文件;
 
● 对象存储应用,业务系统可通过对象协议使用存储,可共享Bucket,也可创建独立的Bucket桶使用。

数据迁移

在系统业务正式上线、数据切割之前最核心的工作就是将原业务系统中的数据迁移到新的系统环境中使用运行,同时要保证迁移数据的一致性及业务系统的运行健状性。主要涉及两个方面的数据迁移工作:虚拟机迁移和应用业务系统数据迁移。

有效将资源转化为数据资产
青岛大学建设的非结构化云存储平台,可对接学校教学单位、科研单位、职能部门和教辅单位的教学和办公数据资源,将资源累积起来,实现「对外资源开放,对内资源集成」,实现资源的共建共享、集中管理、统一检索,构建高校非结构化数据知识中心,让数据资源转换成数据资产。