第一阶段:大数据工作级课程学习
第一阶段:大数据工作级课程学习

大数据挑战和发展趋势
本章主要讲述大数据发展现状、落地的挑战、以及发展趋势。

华为大数据解决方案
本章介绍华为大数据MRS的解决方案,有关大数据和数据分析处理的常用公有云服务,并介绍华为云MRS服务的优势及应用场景。

MRS服务开发与应用-MRS部署与开通
本章主要讲述如何在华为云环境中开通MRS服务,介绍相关的配置参数,以及如何部署MRS 客户端。

MRS服务开发与应用-基础组件
本章主要围绕华为云MRS服务中的HDFS,MapReduce,YARN, HBase,Spark和Hive这五大基础组件,讲述相关组件的基本架构和应用开发之道。

MRS服务开发与应用-数据接入组件
本章主要围绕华为云MRS服务中的Sqoop,Kafka和Flume这三大数据接入组件,讲述相关组件的基本架构和应用开发之道。

MRS服务开发与应用-高级组件
本章主要讲述内存计算引擎Flink,联机分析处理中的三种常用组件(ClickHouse、Kudu、Impala)。通过各组件架构原理、关键特性等介绍,结合实验操作帮助大家了解以上高级组件使用方法。

MRS服务开发与应用-MRS特性介绍
本章主要讲述传统大数据平台常见问题,由此引出华为一站式大数据平台服务MRS,重点介绍MRS在使用过程中的六大优势。

华为云DGC服务开发与应用
本章基于华为数据治理的历程,介绍华为数据治理愿景、方法论框架,华为基于方法论构建DGC(数据管理中心);同时介绍DGC的开发应用及高阶功能。

华为云DLI服务开发与应用
本章主要讲述华为数据湖探索DLI(Data Lake Insight)的产品特点,DLI中的SQL作业、Spark作业、Flink作业的开发方法,手动扩缩容、弹性定时扩缩容、跨源数据源访问等基本使用方法。

大数据搬迁方案与实战指导
本章主要为大数据搬迁方案与实战提供理论性指导,帮助大家更好地进行相关实战操作及技术选型。
第二阶段:大数据工作级实验练习
第二阶段:大数据工作级实验练习
MRS基础组件之HDFS与MapReduce开发与应用
本实验基于MRS环境,通过介绍如何利用HDFS和MapReduce的常用JAVA API来进行相关操作。其中,HDFS主要包括如何利用Java API创建路径、新建文件、写入数据、查看文件以及删除文件,而MapReduce则通过介绍Java API的基本操作,讲解如何进行数据统计分析和自定义作业。
MRS基础组件之HBase与Hive开发应用
本实验基于MRS环境,介绍如何利用HBase与Hive来进行相关操作。其中,HBase主要介绍包括如何利用Java API创建数据表、写入数据、查看数据以及删除数据;而Hive则通过介绍UDF、UDTF和UDAF等自定义函数的基本操作,讲解如何进行自定义数据处理和清洗作业。
MRS基础组件之Spark开发与应用
本实验基于MRS环境,主要介绍如何利用Spark RDD的常用算子进行简单统计分析,以及如何利用SparkSQL进行结构化批处理。
MRS基础组件之Kafka与ClickHouse开发与应用
本实验基于MRS环境,Kafka部分主要介绍kafka命令行脚本的基本使用规范,以及通过介绍一个电商数据实时分析的场景将Kafka和Spark Streaming进行组合,帮助大家更好地掌握实际项目的开发流程。
MRS高级组件之Impala与Flink开发应用
本实验基于MRS环境,Impala部分主要介绍基本操作。假定用户开发一个应用程序,用于管理企业中的使用A业务的用户信息,使用Impala客户端实现A业务操作流程。Flink部分主要介绍如何实现Flink与Kafka的连接以满足实时计算场景应用。
大数据搬迁方案简单实践
本实验以通过华为云CDM服务进行数据迁移为例,介绍如何将其他Hadoop集群的历史数据迁移至华为云MRS中,以便获取MRS云服务的诸多特性。 本迁移指导将指导适用于多种不同场景下的HBase、Hive数据向MRS集群的迁移工作。
第三阶段:云上考试认证
第三阶段:云上考试认证
大数据工作级开发者认证
HCCDP-Big Data
面向大数据从业者,培训与认证大数据核心理念和架构,并能集成华为云大数据常用组件,完成各组件开发实践经典案例。