大数据开发知识培训

01.Java基础
Java基础语法 面向对象编程 常用类和工具类 集合框架体系 异常处理机制 文件和IO流 移动开户管理系统 多线程 枚举和垃圾回收 反射 JDK新特性 通讯录系统

Scala多范式编程语言编写程序； Spark大数据计算框架原理；Spark实时流处理技术；Spark大数据计算框架调优； 要求能够对不同业务场景下Spark Core、Spark Streaming、Spark SQL的技术选型有足够认知，能够熟练使用Spark Core、Spark Streaming、Spark SQL完成对应功能； Flink实时流处理技术；熟悉项目中应用开发。

02 JavaEE核心
前端技术 数据库 JDBC技术 服务器端技术 Maven Spring SpringBoot Git

熟悉大数据开发基本流程和技术架构； 熟悉机器学习算法理论基础； 熟悉Python语言基础及数据算法库； 熟悉机器学习应用场景； 熟悉Spark机器学习框架； 熟悉数据分析平台开发全流程； 熟悉大数据推荐系统的开发全流程

03 Hadoop生态体系
Linux Hadoop ZooKeeper Hive HBase Phoenix Impala Kylin Flume Sqoop&DataX Kafka Oozie&Azkaban Hue 智慧农业数仓分析平台

Linux操作系统安装及基本命令；shell脚本编程； 大数据架构Hadoop原理及编程使用；熟悉大数据框架Hadoop调优 ZooKeeper工作机制，以及动态感知原理及使用; Hive数据仓库的使用及调优原理; HBase数据库的开发、使用以及调优; Phoenix基本使用; Impala查询使用; Kylin大数据的OLAP引擎; Flume数据迁移工具; Sqoop与DataX离线数据迁移工具及数据迁移测试; Kafka消息队列; Oozie、Azkaban项目流程调度开发工具; Hue开源Hadoop UI系统；掌握Hue与各个大数据组件的搭配使用; 各个大数据组件在项目中的实战使用;

04 Spark生态体系
Scala、Spark、交通领域汽车流量监控项目、Flink

Scala多范式编程语言编写程序； Spark大数据计算框架原理；Spark实时流处理技术；Spark大数据计算框架调优； 要求能够对不同业务场景下Spark Core、Spark Streaming、Spark SQL的技术选型有足够认知，能够熟练使用Spark Core、Spark Streaming、Spark SQL完成对应功能； Flink实时流处理技术；熟悉项目中应用开发。

05 项目实战 机器学习
高铁智能检测系统、电信充值、中国天气网、机器学习

熟悉大数据开发基本流程和技术架构； 熟悉机器学习算法理论基础； 熟悉Python语言基础及数据算法库； 熟悉机器学习应用场景； 熟悉Spark机器学习框架； 熟悉数据分析平台开发全流程； 熟悉大数据推荐系统的开发全流程。