社交网络数据及文本挖掘方面的专业技术培训
大数据概述
1.大数据基本概念、技术梗概、技术沿革,以及大数据技术是如何改变人工智能技术、
语音识别技术、图像识别/视频理解、自然语言处理技术等,以及大数据技术在政府、金融、石油、教育、交通、医疗卫生等行业的成功案例;
2.大数据的结构化数据模型、半结构化模型和非结构化数据的存储模型,逻辑模型,以及分析建模工具的常用方法。
数据挖掘及Mahout
1.十大常用的并行数据挖掘算法、原理、应用场景,以及技术实战;
2.并行数据挖掘平台Mahout的技术架构、核心组件的工作原理以及技术;
3.Mahout应用开发技术;
4.Mahout项目实战。R语言精要 本着循序渐进而又覆盖R语言重要而有用的基本内容原则,本讲从R语言入门开始,
以前期的数据处理为核心,以实际案例为载体,内容包括R语言的向量、数据框、矩阵运算、
缺失值和零值的处理、特别注重用R语言构造函数编程解决实际问题,详细介绍强大的数据清洗整理plyr、zoo、
car等常用包和强大的作图ggplot2包,为使用R语言进行数据挖掘打下扎实的工具基础。
主要案例:案例1:如何用R语言plyr等包合并、排序、分析数据并编制香农-威纳指数;
案例2:如何用R语言编程同时实现几十个高难度数据分析可视化图片的jpeg格式输出;
案例3:如何使用R语言进行分层或者整群抽样构建训练集与测试集;案例4:使用ggplot2画出各种复杂的图形。
神经网络和R语言的实现
神经网络由大量的节点和输出函数构成逻辑策略,本讲介绍其原理,主要通过案例的方式讲解R语言实现神经网络算法的过程和注意的事项。
主要案例:案例1:酒的品质和种类的神经网络的分析和预测;案例2:公司财务预警建模。企业基于社交网络数据的收获
1.潜在商机的发现,通过数据挖掘与分析能够得到什么?
2.危机预警 ,通过数据挖掘与分析,可以对一些网络中突然发布的一条可能对企业产生危机的信息即时的监控;
3.效果预测, 通过数据挖掘与分析让企业能花最少的钱得到最大的产出。交叉验证比较各个模型:对于同一个数据,可能有很多模型来拟合,如何衡量和比较模型的精度呢?
本讲将介绍交叉验证训练集和测试集的方法来帮助大家在实际中选取最佳模型进行拟合和预测。
决策树(回归树)分析和R语言实现
决策树是数据挖掘的经典方法,其原理容易被理解。本讲主要讲授两种最为普遍的决策树算法:CART和C4.5算法,使用rpart和J48函数进行R语言分析。
主要案例:案例1:对汽车耗油量进行决策树分析并完成相关目标变量的预测;
案例2:使用决策树帮助电信局判断和预测客户办理宽带业务。使用R语言结合KNN算法进行文本挖掘
文本挖掘,特别是对中文的文本挖掘日趋重要。本讲介绍文本挖掘的原理和方法,帮助大家使用R语言在大量的非结构化的数据中发现有价值的信息,
抽取潜在有用的数据,发现适合模式,实现可视化结果展示。主要案例:案例:使用R语言结合KNN算法对网页(Web)进行文本挖掘(含分词、分类、可视化等)。