课程名称:Hadoop Flume 收集数据培训

4401 人关注
(78637/99817)
课程大纲:

Hadoop Flume 收集数据培训

 

 

Flume 可以从多个数据源获取数据,把这些数据传给远程主机(可能是一对多或流水线模型 中的多个目标),再把它们传给多个目的端。

尽管 Flume 提供了开发自定义数据源和数据目的端的编程 API,但它原本就支持许多常见的场景。

1
使用 Flume 收集数据

1.Flume核心概念agent

2.agent里面包含3个核心组件:source、channel、sink。

3.sink组件是用于把数据发送到目的地的组件,目的地包括hdfs、logger、avro、thrift、ipc、file、null、hbase、solr、自定义。


登录 后发表评论
最新评论
全部 第1节 第2节 第3节 第4节 第5节 第6节 第7节 第8节 第9节 第10节 第11节 第12节 第13节 第14节 第15节 第16节 第17节
我的报告 / 所有报告