flume filechannel和memoryhanel最大flume的吞吐量量性能上简单对比flume的吞吐量量传输过程

点击联系发帖人 时间：2019-04-22 05:57

flume的吞吐量

经过对Flume FileChannel相关源码的分析导致FileChannelflume的吞吐量率下降的主要原因集中于事务的提交过程——commit


0	0

为了良好体验，不建议使用迅雷下载

会员到期时间： 剩余下载个数：剩余C幣：剩余积分：0

为了良好体验不建议使用迅雷下载

为了良好体验，不建议使用迅雷下载


0	0

为了良好体验不建议使用迅雷下载

您的积分不足，将扣除 10 C币

为了良好体验不建议使用迅雷下载

开通VIP会员权限，免积分下载

}

本人目前遇到flume采集写入hdfs性能等各種问题大致如下。在10上的xx/xx目录下的数据进行读取 sink到08上的flume 由08上的flume写到07的hdfs上 30多m的文件写了好久有时候会内存溢出等问题

上面是08机器上的配置文件

 下面是10机器上的配置文件
求各位高手解答。有时候只写了一部分数据就不再继续了对单个文件执行时没有问题就是对目录扫描 channel是 memory類型时性能极差。不知道问题出在哪里

}