flumesink和source是什么意思到hdfs上的数据怎么那么小

你的位置：网站首页 >> 频道首页 >>理工学科 >>flumesink和source是什么意思到hdfs上的数据怎么那么小

点击联系发帖人 时间：2017-09-05 09:07

sink和source是什么意思

这个问题是目录权限问题,解决办法如下

配置文件错误（仔细检查）

}

本人目前遇到flume采集写入hdfs性能等各種问题大致如下。在10上的xx/xx目录下的数据进行读取 sink和source是什么意思到08上的flume 由08上的flume写到07的hdfs上 30多m的文件写了好久有时候会内存溢出等问题

上面昰08机器上的配置文件

 下面是10机器上的配置文件
求各位高手解答。有时候只写了一部分数据就不再继续了对单个文件执行时没有问题就是對目录扫描 channel是 memory类型时性能极差。不知道问题出在哪里

}

表示一个小时生成一个文件夹

表礻10分钟或者128M生成一个文件

}