(1)file channel
数据存储于磁盘,优势:可靠性高;劣势:传输速度低
默认容量:100万event
注意:FileChannel可以通过配置dataDirs指向多个路径,每个路径对应不同的硬盘,增大Flume吞吐量。
(2)memory channel
数据存储于内存,优势:传输速度快;劣势:可靠性差
默认容量:100个event
(3)kafka channel
数据存储于Kafka,基于磁盘;
优势:可靠性高;
传输速度快 kafka channel>memory channel+kafka sink 原因是因为省去了sink阶段。
(4)kafka channel哪个版本产生的?
flume1.6 版本产生->并没有广泛使用;因为有bug:
传输的数据都带topic主题名称,再拼上内容,如:topic-start、topic-event ,其实我们只需要内容,并不需要topic头,无论你把配置文件里的相关设置参数选择为 ture 或者false,都不起作用,所以增加了额外清洗的工作量;
flume1.7解决了这个问题,开始广泛使用。
(5)针对生产环境,如何选择channel类型:
如果下一级是kafka,优先选择kafka channel;
如果是金融、对钱要求准确的公司,选择file channel;
如果就是普通的日志,通常可以选择memory channel。
暂无数据