课程目录:大数据开发知识培训
4401 人关注
(78637/99817)
课程大纲:

大数据开发知识培训

 

 

 

01.Java基础
Java基础语法 面向对象编程 常用类和工具类 集合框架体系 异常处理机制 文件和IO流 移动开户管理系统 多线程 枚举和垃圾回收 反射 JDK新特性 通讯录系统

 

Scala多范式编程语言编写程序; Spark大数据计算框架原理;Spark实时流处理技术;Spark大数据计算框架调优; 要求能够对不同业务场景下Spark Core、Spark Streaming、Spark SQL的技术选型有足够认知,能够熟练使用Spark Core、Spark Streaming、Spark SQL完成对应功能; Flink实时流处理技术;熟悉项目中应用开发。

02 JavaEE核心
前端技术 数据库 JDBC技术 服务器端技术 Maven Spring SpringBoot Git

 

熟悉大数据开发基本流程和技术架构; 熟悉机器学习算法理论基础; 熟悉Python语言基础及数据算法库; 熟悉机器学习应用场景; 熟悉Spark机器学习框架; 熟悉数据分析平台开发全流程; 熟悉大数据推荐系统的开发全流程

03 Hadoop生态体系
Linux Hadoop ZooKeeper Hive HBase Phoenix Impala Kylin Flume Sqoop&DataX Kafka Oozie&Azkaban Hue 智慧农业数仓分析平台

 

Linux操作系统安装及基本命令;shell脚本编程; 大数据架构Hadoop原理及编程使用;熟悉大数据框架Hadoop调优 ZooKeeper工作机制,以及动态感知原理及使用; Hive数据仓库的使用及调优原理; HBase数据库的开发、使用以及调优; Phoenix基本使用; Impala查询使用; Kylin大数据的OLAP引擎; Flume数据迁移工具; Sqoop与DataX离线数据迁移工具及数据迁移测试; Kafka消息队列; Oozie、Azkaban项目流程调度开发工具; Hue开源Hadoop UI系统;掌握Hue与各个大数据组件的搭配使用; 各个大数据组件在项目中的实战使用;

04 Spark生态体系
Scala、Spark、交通领域汽车流量监控项目、Flink

 

Scala多范式编程语言编写程序; Spark大数据计算框架原理;Spark实时流处理技术;Spark大数据计算框架调优; 要求能够对不同业务场景下Spark Core、Spark Streaming、Spark SQL的技术选型有足够认知,能够熟练使用Spark Core、Spark Streaming、Spark SQL完成对应功能; Flink实时流处理技术;熟悉项目中应用开发。

05 项目实战 机器学习
高铁智能检测系统、电信充值、中国天气网、机器学习

 

熟悉大数据开发基本流程和技术架构; 熟悉机器学习算法理论基础; 熟悉Python语言基础及数据算法库; 熟悉机器学习应用场景; 熟悉Spark机器学习框架; 熟悉数据分析平台开发全流程; 熟悉大数据推荐系统的开发全流程。