2019年1月12日-14日，德拓首次大数据高级师资培训班（兰州站）在兰州交通大学火热开班。
此次培训吸引了甘肃、青海两省各大知名高校的60余位老师齐聚金城兰州，交流学习大数据专业知识，旨在“提升师资队伍水平，完善教学课程体系，助力教学科研平台建设”。
本次培训由上海德拓信息技术股份有限公司和兰州交通大学联合举办，兰州交通大学电子与信息工程学院闫光辉院长、蒋占军副院长出席了开班仪式，对在严冬集结于金城的各位老师们表示了诚挚的欢迎，鼓励大家努力学习大数据专业知识，强化专业内涵建设，提升教育教学质量，促进校企交流合作，深入开展大数据技术在跨专业交叉融合领域的探索和实践。
针对本次培训，德拓进行了精心的安排和标准的流程管理，投入了高规格的服务与师资力量，邀请来自上海德拓南京大数据研究所、上海人工智能实验室、德拓智慧实验室等大数据领域的技术及产品专家现场授课。
培训课程安排了大数据技术知识体系概述、Hadoop生态系统及其组件介绍、大数据采集技术（Datax、Kettle、Logstash、Kafka）与应用案例、大数据存储技术（HDFS、Hbase、Hive、NoSQL）与应用案例、大数据计算分析与应用案例（Spark、Apache Spark、数据可视化），大数据实战项目演练等综合知识讲解。从理论到实战，帮助老师们准确Get每一步操作，每一行代码，“一站式”解决大数据专业实践中提高动手能力和实践水平面临的问题。
还没有机会参加培训的朋友们的福利来了，我们特地整理了培训课程干货分享给大家。
| 徐振权
■ 大数据技术知识体系概述：
大数据的关键技术包括大数据接入； 大数据存储；数据分析挖掘；大数据共享交换 ；大数据展现。
大数据计算模式包括大数据查询分析计算模式；批处理计算模式；流式计算模式；迭代计算模式；图计算模式；内存计算模式。
Hadoop框架技术，介绍了Hadoop2.0生态圈中每一个大数据组件，以其中的HDFS和Hbase为例。
■ HDFS（分布式存储系统）特点：
数据冗余，硬件容错，每个数据块有三个备份；
流式的数据访问，数据写入不易修改；
适合存储大文件，小文件会增加NameNode的压力；
■ HDFS的适用性与局限性：
适合数据批量读写，吞吐量高；
不适合做交互式应用，低延迟很难满足；
适合一次写入多次读取，顺序读写；
不支持多用户并发写相同文件；
■ Hbase表的特点：
大：一个表可以有数十亿行，上百万列;
无模式：每行都有一个可排序的主键和任意多的列，列可以根据需要动态的增加，同一张表中不同的行可以有截然不同的列;
面向列：面向列（族）的存储和权限控制，列（族）独立检索;
稀疏：空（null）列并不占用存储空间，表可以设计的非常稀疏;
数据多版本：每个单元中的数据可以有多个版本，默认情况下版本号自动分配，是单元格插入时的时间戳;
数据类型单一：Hbase中的数据都是字符串，没有类型;
| 卓建飞
■ Spark分布式内存计算框架
分布式计算是一种计算方法，和集中式计算是相对的。
随着计算技术的发展，有些应用需要非常巨大的计算能力才能完成，如果采用集中式计算，需要耗费相当长的时间来完成。
分布式计算将该应用分解成许多小的部分，分配给多台计算机进行处理。这样可以节约整体计算时间，大大提高计算效率。
■ Spark内存计算的优势
速度飞快:内存模式下是Hadoop Map/Reduce 的100倍；
计算套件齐全:包含SQL分析、Stream流计算、MLlib机器学习、GraphX图计算四大套件；
开发易上手:完美支持Java、Python、Scala、R语言、SQL分析等语言；
生态完备:无缝对接Hdfs、Hbase、Hive、Mongodb、Elasticsearch等开源技术栈；
除此之外，Spark还适用于丰富的应用场景，如微博热点，银行年报，交通状况的实时分析，数据挖掘等等。
本次培训中，讲师们不仅对各种技术的前世今生进行了系统的介绍，同时结合了丰富的应用实例，展示了各项技术的发展，激发了老师求知的热情，让人意犹未尽。
作为德拓2019年师资培训的首站，兰州站的顺利开班，标志着德拓师资培训服务的良好开端。
师资培训，步履不停。之后，德拓将会去到其他城市，助力更多的高校培养优秀的大数据应用人才。想要参加培训的朋友请继续关注我们，及时获取有关下次培训班的信息。
服务大数据教育事业任重道远，德拓人必将不忘初心，砥砺前行。
