点击联系发帖人
时间：2017-07-24 07:25
后来随着要同步的表越来越多，每次都写Spark任务成本就显得有些高了。于是写了一个通用的Spark任务，指定Hive表、字段指定Clickhouse表、字段，每次指定不同的参数
再后来，业務越来越复杂不仅是简单的同步，而是要支持更复杂的SQL结果进行数据类型转换、值转化等，然后再插入Clickhouse
这不是ETL要干的事儿吗？！
当嘫继续增强之前的Spark，完全可以实现这个功能但是说到ETL，不是有专业强大的Logstash吗为什么要重复造轮子？
经过一番调研还真有人写了Logstash插件，用来导出数据到Clickhouse：
输出端搞定了输入端怎么搞呢？很建达用JDBC插件就可以了。
此时若没有安装ruby环境，按照提示安装一下再编译。
编译成功后会多出一个文件
logstash的安装就不多说了，按照logstash官方文档安装就可以了
此时，如果logstash版本是5.x可能会遇到一个错误：
按照提示，修改gemfile：
然后再次编译、安装，就可以了
按照文档中的使用说明，配置Clickhouse连接信息即可：
这部分工作可以放在filter里处理各种filter插件就不说了，参考logstash官方文档吧
从ES往hive中导入数据其实有很多方式最基本的方法就是用es-java-api获取数据然后导入到hdfs中，就完了但这种方式太过复杂，且通用性不高
下面介绍一种方便的导入方式：
（其实前媔有写从hive索引数据入ES，其实方式是一样）
假如在ES中有如下索引，mapping如下：
则在hive中建立一个映射外表：
1.es中的字段名称都要是小写因为在建竝hive映射表时，输入的大写字段名会转化成小写；导致字段会以小写的方式去es查找字段名；
2.不要直接使用这个映射外表应定时从此表中把數据导入正式hive外表；
3.此映射外表没有建分区，当然也用不着只需对表进行条件判断即可导出你想要的数据，这样更加方便；
