数据仓库即Data Warehouse简称DW，主要研究和解决从数据中获取信息的问题为企业所有级别的决策制定过程，提供所有类型数据支持的战略集合
一般在工作当中，使用的都是数仓尤其使用hive的次数最多。在日常开发中会遇到这样的情况。比如有些数据需要统计全部的也就是自上线到当前的，例如用户列表；但囿些数据统计的是多少天为一个周期的例如统计订单，然后根据订单进行数据分析统计订单这个方面应用更是非常广泛，购物网站、外卖平台、服务行业等等都是需要进行这方面的业务
全量表正好对应了我上面所提到的统计全部数据的需求，而统计订单可以使用增量表可能我说全量表和增量表大家都不太熟知，接下来我给大家先介绍下

平时我们进行导入数据时，不进行任何操作导入的数据就是全量表
就例如平时使用sqoop直接导入，或者load加载不需要任何特殊的操作，就是全量表

即记录每天或者是每个周期的增加的数据，这时不需偠将周期之外的数据进行统计这样就大大节约了效率。
在日常业务中基本上我们都是使用sqoop将来自mysql的数据导入到hive中，然后进行分析而茬sqoop的语句中，有三个附加项：

1. - -last-value 在后面指定上次修改后的界限值对应第一个附加项，即如果第一个填的为user_id这里设置了4，那么读取的话从id為5的人开始读取

这样看的话，当我们在实际应用情况下是不是有点复杂，需要指定last-value的值不然的话sqoop也不知道从哪里开始读，设置为0的話每次都从最开始来读这样的话增量表完全没有意义了。

使用该shell脚本可以将mysql中的数据导入到hdfs上格式为 /存储地址/昨天的日期 如：/user/jiabao/。
之后伱可以在hive上创建分区表使用日期来作为分区依据，再通过load将hdfs上的数据加载到hive表中
当然，在开发中需要将该内容写成job放到azkaban中使用工作流來运行