热线电话:13121318867

登录
2020-07-08 阅读量: 1191
Flume Channel类型的选择

(1)file channel

数据存储于磁盘,优势:可靠性高;劣势:传输速度低

默认容量:100万event

注意:FileChannel可以通过配置dataDirs指向多个路径,每个路径对应不同的硬盘,增大Flume吞吐量。

(2)memory channel

数据存储于内存,优势:传输速度快;劣势:可靠性差

默认容量:100个event

(3)kafka channel

数据存储于Kafka,基于磁盘;

优势:可靠性高;

传输速度快 kafka channel>memory channel+kafka sink 原因是因为省去了sink阶段。

(4)kafka channel哪个版本产生的?

flume1.6 版本产生->并没有广泛使用;因为有bug:

传输的数据都带topic主题名称,再拼上内容,如:topic-start、topic-event ,其实我们只需要内容,并不需要topic头,无论你把配置文件里的相关设置参数选择为 ture 或者false,都不起作用,所以增加了额外清洗的工作量;

flume1.7解决了这个问题,开始广泛使用。

(5)针对生产环境,如何选择channel类型:

如果下一级是kafka,优先选择kafka channel;

如果是金融、对钱要求准确的公司,选择file channel;

如果就是普通的日志,通常可以选择memory channel。


21.2429
1
关注作者
收藏
评论(0)

发表评论

暂无数据
推荐帖子