当前访客身份：游客 [
1）Writing is thinking.




2）If you&re interesting someone won&t agree with what you said.
：/usr/local/bin/tail -n +$(tail -n1 /home/stor...
：这是把责任都推给了技术，认为技术万能，所以不相...
：总结的好，每个版本的新特性一目了然。
：牛逼！！
：不错，原理要清楚！
：nc的经典使用方法，收藏了。
今日访问：790
昨日访问：645
本周访问：790
本月访问：9431
所有访问：443252
Hive 中的复合数据结构简介以及一些函数的用法说明
发表于2年前( 01:31)&&
阅读（3887）&|&评论（）
0人收藏此文章,
目前 hive 支持的复合数据类型有以下几种：
map (key1, value1, key2, value2, ...) Creates a map with the given key/value pairs struct & (val1, val2, val3, ...) Creates a struct with the given field values. Struct field names will be col1, col2, ... named_struct & (name1, val1, name2, val2, ...) Creates a struct with the given field names and values. (as of Hive 0.8.0) array & (val1, val2, ...) Creates an array with the given elements create_union &
(tag, val1, val2, ...) Creates a union type with the value that is being pointed to by the tag parameter
一、map、struct、array 这3种的用法：
1、Array的使用
创建数据库表，以array作为数据类型
create table
person(name string,work_locations array&string&)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ',';
biansutao beijing,shanghai,tianjin,hangzhou
linan changchu,chengdu,wuhan
LOAD DATA LOCAL INPATH '/home/hadoop/person.txt' OVERWRITE INTO TABLE
hive& select *
["beijing","shanghai","tianjin","hangzhou"]
["changchu","chengdu","wuhan"]
Time taken: 0.355 seconds
Time taken: 12.397 seconds
hive& select work_locations[0]
Time taken: 13.214 seconds
hive& select work_l
["changchu","chengdu","wuhan"]
["beijing","shanghai","tianjin","hangzhou"]
Time taken: 13.755 seconds
hive& select work_locations[3]
Time taken: 12.722 seconds
hive& select work_locations[4]
Time taken: 15.958 seconds
2、Map 的使用
创建数据库表
create table score(name string, score map&string,int&)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ','
MAP KEYS TERMINATED BY ':';
要入库的数据
biansutao '数学':80,'语文':89,'英语':95
jobs '语文':60,'数学':80,'英语':99
LOAD DATA LOCAL INPATH '/home/hadoop/score.txt' OVERWRITE INTO TABLE
hive& select *
{"数学":80,"语文":89,"英语":95}
{"语文":60,"数学":80,"英语":99}
Time taken: 0.665 seconds
Time taken: 19.778 seconds
hive& select t.
{"语文":60,"数学":80,"英语":99}
{"数学":80,"语文":89,"英语":95}
Time taken: 19.353 seconds
hive& select t.score['语文']
Time taken: 13.054 seconds
hive& select t.score['英语']
Time taken: 13.769 seconds
3、Struct 的使用
创建数据表
CREATE TABLE test(id int,course struct&course:string,score:int&)
ROW FORMAT DELIMITED
FIELDS TERMINATED BY '\t'
COLLECTION ITEMS TERMINATED BY ',';
1 english,80
3 chinese,95
LOAD DATA LOCAL INPATH '/home/hadoop/test.txt' OVERWRITE INTO TABLE
hive& select *
{"course":"english","score":80}
{"course":"math","score":89}
{"course":"chinese","score":95}
Time taken: 0.275 seconds
{"course":"english","score":80}
{"course":"math","score":89}
{"course":"chinese","score":95}
Time taken: 44.968 seconds
select t.course.
Time taken: 15.827 seconds
hive& select t.course.
Time taken: 13.235 seconds&
4、数据组合 （不支持组合的复杂数据类型）
LOAD DATA LOCAL INPATH '/home/hadoop/test.txt' OVERWRITE INTO TABLE
create table test1(id int,a MAP&STRING,ARRAY&STRING&&)
row format delimited fields terminated by '\t'
collection items terminated by ','
MAP KEYS TERMINATED BY ':';
1 english:80,90,70
2 math:89,78,86
3 chinese:99,100,82
LOAD DATA LOCAL INPATH '/home/hadoop/test1.txt' OVERWRITE INTO TABLE test1;
二、hive中的一些不常见函数的用法：
常见的函数就不废话了，和标准sql类似，下面我们要聊到的基本是HQL里面专有的函数，
hive里面的函数大致分为如下几种：Built-in、Misc.、UDF、UDTF、UDAF
我们就挑几个标准SQL里没有，但是在HIVE SQL在做统计分析常用到的来说吧。
1、array_contains （Collection Functions）
这是内置的对集合进行操作的函数，用法举例：
create EXTERNAL table IF NOT EXISTS userInfo (id int,sex string, age int, name string, email string,sd string, ed string)
ROW FORMAT DELIMITED FIELDS TERMINATED BY '\t' location '/hive/dw';
select * from userinfo where sex='male' and (id!=1 and id !=2 and id!=3 and id!=4 and id!=5) and age & 30;
select * from (select * from userinfo where sex='male' and !array_contains(split('1,2,3,4,5',','),cast(id as string))) tb1 where tb1.age & 30;
其中建表所用的测试数据你可以用如下链接的脚本自动生成：
2、get_json_object （Misc. Functions）
测试数据：
first {"store":{"fruit":[{"weight":8,"type":"apple"},{"weight":9,"type":"pear"}],"bicycle":{"price":19.951,"color":"red1"}},"email":"amy@only_for_json_udf_test.net","owner":"amy1"} third first {"store":{"fruit":[{"weight":9,"type":"apple"},{"weight":91,"type":"pear"}],"bicycle":{"price":19.952,"color":"red2"}},"email":"amy@only_for_json_udf_test.net","owner":"amy2"} third first {"store":{"fruit":[{"weight":10,"type":"apple"},{"weight":911,"type":"pear"}],"bicycle":{"price":19.953,"color":"red3"}},"email":"amy@only_for_json_udf_test.net","owner":"amy3"} third
create external table if not exists t_json(f1 string, f2 string, f3 string) row format delimited fields TERMINATED BY ' ' location '/test/json'
select get_json_object(t_json.f2, '$.owner') from t_
SELECT * from t_json where get_json_object(t_json.f2, '$.store.fruit[0].weight') = 9;
SELECT get_json_object(t_json.f2, '$.non_exist_key') FROM t_
这里尤其要注意UDTF的问题，官方文档有说明：
json_tuple A new json_tuple() UDTF is introduced in hive 0.7. It takes a set of names (keys) and a JSON string, and returns a tuple of values using one function. This is much more efficient than calling GET_JSON_OBJECT to retrieve more than one key from a single JSON string. In any case where a single JSON string would be parsed more than once, your query will be more efficient if you parse it once, which is what JSON_TUPLE is for. As JSON_TUPLE is a UDTF, you will need to use the LATERAL VIEW syntax in order to achieve the same goal.
For example,
select a.timestamp, get_json_object(a.appevents, '$.eventid'), get_json_object(a.appenvets, '$.eventname') should be changed to
select a.timestamp, b.*
from log a lateral view json_tuple(a.appevent, 'eventid', 'eventname') b as f1, f2;
UDTF(User-Defined Table-Generating Functions) &用来解决 输入一行输出多行(On-to-many maping) 的需求。
通过Lateral view可以方便的将UDTF得到的行转列的结果集合在一起提供服务，因为直接在SELECT使用UDTF会存在限制，即仅仅能包含单个字段，不光是多个UDTF，仅仅单个UDTF加上其他字段也是不可以，hive提示在UDTF中仅仅能有单一的表达式。如下： hive& select my_test(“abcef:aa”) as qq,’abcd’ from sunwg01; FAILED: Error in semantic analysis: Only a single expression in the SELECT clause is supported with UDTF’s
使用Lateral view可以实现上面的需求，Lateral view语法如下： lateralView: LATERAL VIEW udtf(expression) tableAlias AS columnAlias (‘,’ columnAlias)* fromClause: FROM baseTable (lateralView)* hive& create table sunwg ( a array, b array ) & ROW FORMAT DELIMITED & FIELDS TERMINATED BY ‘\t’ & COLLECTION ITEMS TERMINATED BY ‘,’; OK Time taken: 1.145 seconds hive& load data local inpath ‘/home/hjl/sunwg/sunwg.txt’ overwr Copying data from file:/home/hjl/sunwg/sunwg.txt Loading data to table sunwg OK Time taken: 0.162 seconds hive& select * OK [10,11] ["tom","mary"] [20,21] ["kate","tim"] Time taken: 0.069 seconds hive& & SELECT a, name & FROM sunwg LATERAL VIEW explode(b) r1 AS OK [10,11] tom [10,11] mary [20,21] kate [20,21] tim Time taken: 8.497 seconds
hive& SELECT id, name & FROM sunwg LATERAL VIEW explode(a) r1 AS id & LATERAL VIEW explode(b) r2 AS OK 10 tom 10 mary 11 tom 11 mary 20 kate 20 tim 21 kate 21 tim Time taken: 9.687 seconds
3、parse_url_tuple
测试数据：
url1 /path1/p.php?k1=v1&k2=v2#Ref1 url2 https://cwiki.apache.org/confluence/display/Hive/LanguageManual+UDF#LanguageManualUDF-getjsonobject url3 .hk/#hl=zh-CN&newwindow=1&safe=strict&q=hive+translate+example&oq=hive+translate+example&gs_l=serp.3....6..0.0.0.0.132.883.0j7.7.0...0.0...1c.1j4.8.serp.0B9C1T_n0Hs&bav=on.2,or.&bvm=bv.,d.aGc&fp=e13e41a6b9dab3f6&biw=1241&bih=589
create external table if not exists t_url(f1 string, f2 string) row format delimited fields TERMINATED BY ' ' location '/test/url';
SELECT f1, b.* FROM t_url LATERAL VIEW parse_url_tuple(f2, 'HOST', 'PATH', 'QUERY', 'QUERY:k1') b as host, path, query, query_
/path1/p.php k1=v1&k2=v2 v1 url2 cwiki.apache.org /confluence/display/Hive/LanguageManual+UDF NULL NULL url3 .hk / NULL NULL
http://blog.csdn.net/wf1982/article/details/7474601 /ggjucheng/archive//2850797.html http://www.oratea.net/?p=650
&&hive lateral view语句：列拆分成行
1)">1)">1" ng-class="{current:{{currentPage==page}}}" ng-repeat="page in pages"><li class='page' ng-if="(endIndex<li class='page next' ng-if="(currentPage
相关文章阅读全球最新的免费资源发布区
Amazon EC2免费VPS防止超额被扣钱三大方法:流量 硬盘读写 运行时长
& 日 17:20 &
Amazon EC2也就是免费VPS主机服务，内存是613MB，月流量是30GB，主机空间是30GB，可以免费使用一年，又加上Amazon服务器全球多个节点CDN和本身的名气，早在2010年Amazon EC2推出后，就已经有人将博客放在这个免费VPS上了。
上一篇文章部落就演示了一篇搭建WP博客的过程，有朋友或许就有疑问了：部落以前不是说过免费空间不能用来长期建站吗？难道Amazon EC2不是免费空间？没错，从一定程度上讲Amazon EC2既是免费又是付费的。
说Amazon EC2是免费空间是因为第一年只要不超过Amazon EC2规定的免费套餐的限额就不会有扣款，说Amazon EC2是付费空间原因是我们绑定在Amazon上的信用卡随时会面临着被扣钱的危险，一旦你的流量或者其它资源超标，你的信用卡上的钱马上就被扣走了。
作为一家大公司Amazon自然不会乱扣客户信用卡上的钱，只是当我们超出了免费的范围就会产生费用。即使我们用的财付通的美国运通卡，也会面临着被扣钱的问题，因为美国运通卡财付通版在Amazon消费是不需要安全验证码的。
所以本篇文章就来为大家详细解说一下免费VPS主机套餐的限额，同时告诉大家如何查看自己的Amazon VPS的运行时间、IO读写次数、额外服务情况，及时阻止VPS可能超出免费限额的行为，防止因超额而扣费。
想尝鲜一下的可以试试这些：
1、微软VPS：
2、台湾VPS：&
3、便宜VPS：
Amazon EC2免费VPS防止超额被扣钱三大方法:流量 硬盘读写 运行时长
一、Amazon EC2免费VPS免费套餐详解
1、Amazon EC2官网：
1、官方首页：/free
2、申请图文：
3、WP博客：
2、750 hours of Amazon EC2 Linux+ Micro Instance usage (613 MB of memory and 32-bit and 64-bit platform support) ：有750个小时的免费运行时长，操作系统可选Linux，613MB的内存，支持32或者64位。
3、750 hours of Amazon EC2 Microsoft Windows Server? Micro Instance usage (613 MB of memory and 32-bit and 64-bit platform support) ：有750个小时的免费运行时长，操作系统可选Windows，613MB的内存，支持32或者64位。
4、750 hours of an Elastic Load Balancer plus 15 GB data processing：750个小时负载均衡器使用时间，流量是15GB。
5、30 GB of Amazon Elastic Block Storage, plus 2 million I/Os and 1 GB of snapshot storage：你有30GB的可用存储空间，磁盘的读写次数是2,000,000次，2百万次，1GB的snapshot存储空间
6、5 GB of Amazon S3 standard storage, 20,000 Get Requests, and 2,000 Put Requests： 5GB的额外存储空间，每月只能存取20000次。
7、100,000 Requests of Amazon Simple Queue Service：队列服务。
8、100,000 Requests, 100,000 HTTP notifications and 1,000 email notifications for Amazon Simple Notification Service：通知服务
9、10 Amazon Cloudwatch metrics, 10 alarms, and 1,000,000 API requests：监控服务
10、30 GB per of internet data transfer (15 GB of data transfer “in” and 15 GB of data transfer “out” across all services except Amazon CloudFront) ：30GB的流量，流入和流出各15GB。
二、Amazon EC2免费VPS防止被扣钱方法一：定时查看流量 硬盘读写 运行时长
1、上面我们已经知道了Amazon EC2免费VPS各种免费配额限制了，接下我们就要学会和定时查看我们的VPS的流量、硬盘读写、运行时长等基本情况了。
2、登录Amazon EC2，点击右上角的“账户活动”。
3、在跳转的页面中就能看到自己本月最新的费用情况了。部落悲了剧，不小心安装了个Red Hat Enterprise Linux (RHEL)，运行了3个小时，就被扣掉了0.24美元，可怜那1美元的压金就这样少了。（点击放大）
4、在页面下方就是VPS主机使用的运行时长、硬盘空间使用率、硬盘读写次数统计情况，如果超出了免费限额就会有费用在里面。（点击放大）
5、在最下方就是VPS主机的流量使用情况，分为流入和流出流量，只要不超过15GB就没有问题，至于其它的请求服务也有相应统计。（点击放大）
三、Amazon EC2免费VPS防止被扣钱方法二：不使用付费服务
1、所谓“不使用付费服务”是指非主动意愿的情况下不去使用Amazon EC2的付费服务，上面部落就是因为安装不免费的操作系统而导致收费。
2、在Amazon EC2中创建VPS时，标明了黄色的五角星符号的是可以免费使用的。如下图：
3、大部分的Linux操作系统在Amazon EC2中是可以免费使用的，但是不包括SuSe Linux Enterprise Server 和 Red Hat Enterprise Linux (RHEL).
4、有少部分的Windows系统是可以免费使用的，但是这些是在其中的：Microsoft Windows Server 2008 R2 with SQL Server Web, Microsoft Windows Server 2008 R2 with SQL Server Standard, Microsoft Windows -bit for Cluster Instances 和 Microsoft Windows 2008 R2 SQL Server 64-bit for Cluster Instances.
5、在Amazon EC2创建时一定要使用Instance Type为T1.micro，最后确定要新建VPS时检查一下这一项。
四、Amazon EC2免费VPS防止被扣钱方法三：编辑信用卡关闭财付通
1、如果你是用信用卡绑定在Amazon EC2免费VPS上，可以点击进入支付方式。
2、编辑你的信用卡。
3、或者新增一个信用卡，然后删除原来的信用卡。
4、如果你是财付通的美国运通卡，除了用上面的编辑信用卡的方法外，还可以关闭绿色通道。
5、注意：上面的方法只是为了防止因超额而被扣款，假如你修改了信用卡导致Amazon无法收取正常超额的费用，你的免费VPS服务即将被停止。
五、Amazon EC2免费VPS保证不扣钱的服务使用情况估算
1、Amazon EC2免费套餐规定不管是Linux或者Windows都只有750个小时的运行时间，一个月即便算31天也只有744个小时，也就是说在运行时长时是不会扣钱的。
2、唯一导致你可能在Amazon EC2的运行时长扣钱的应该是你创建两个以上的Instance。如果只是创建一个Instance，每个月都不用担心运行时长。
3、750个小时负载均衡器使用时间，流量是15GB，一般用在你开多个Instance的时候，多了就要付钱了。
4、Amazon EC2部分服务是收费的，包括：固定IP、高级监控、部分Linux和Windows系统。这些我们在创建VPS时要特别小心。
六、Amazon EC2 VPS免费使用小结
1、总之要想全年免费使用Amazon EC2 VPS，你最好是创建一个VPS应用，使用带星号的操作系统和服务，固定IP也不要使用，只要不重启应用IP还是不变的。
2、Amazon所有的存储设备都是被挂载上去的，当你重启以后，除了机器上所有的数据都是被清空的，因此你可以把你现在的系统做成一个snapshot，方便你重启的时候恢复。
文章出自：
版权所有。本站文章除注明出处外，皆为作者原创文章，可自由引用，但请注明来源。 禁止全文转载。
真的，我猜你也会喜欢的：
您或许对下面这些文章有兴趣:&&&&&&&&&&&&&&&&&&&&本月吐槽辛苦排行榜
免费资源部落博客、论坛、问答和优惠网的创建者
经常混迹于各种免费资源中，尝鲜后乐于分享给他人。用WP搭建了部落博客，没事儿就折腾Wordpress，喜欢找免费空间，但只求精，稳定，耐用。有时也会介绍一点关于建站的知识和主机、服务器的使用心得与体会。PS：此人为男。
TA的专栏：&&|&&
关于本文的作者
所属分类：
链接地址：
浏览前页：
浏览后页：
部落快速搜索栏
热门点击排行榜
网站导航栏
免费资源重点推荐
最新文章推荐
部落最新评论列表
不得不看的秘密
部落本月最受关注的热点
(热度277℃) (热度118℃) (热度106℃) (热度105℃) (热度89℃) (热度88℃) (热度79℃) (热度78℃) (热度73℃) (热度67℃) (热度62℃) (热度60℃) (热度51℃) (热度49℃) (热度41℃) (热度33℃) (热度31℃)
部落本月踩得最多的宝贝
(踩21,440次) (踩13,420次) (踩9,380次) (踩6,710次) (踩6,400次) (踩3,710次) (踩3,350次) (踩3,310次) (踩3,120次) (踩2,760次)
免费资源部落，是一个致力发布和推广来自世界各地的免费资源，包括多样实用的免费空间、各种优秀的免费软件、各样可用的免费网盘等个人博客网站。站长qi是一位很普通不过的人，长期关注网络空间、互联网、软件应用、程序开发与设计、网络应用等。免费资源部落成立的目的就是希望与更多人分享网络快乐与精彩！本站持续修改完善中，如遇不便还请谅解^_^terminated是什么意思_百度作业帮
拍照搜题，秒出答案
terminated是什么意思
terminated是什么意思
正确答案为：terminated结束( terminate的过去式和过去分词 )； 使终结； 解雇； （公共汽车或火车）到达终点站例句：Subsequently the arrangement was terminated.\x09后来这个计划被终止了.如果你对这个答案有什么疑问,
terminated
['t&#605;m&#601;,net]
v. 终止；结束；终结（terminate的过去分词）adj. 终止的；有限的a dispute which led to the abrupt termination of trade.…一个导致贸易突然终止的争端。**************************...secure vpn connection terminated locally by the.. - 通信技术你问我答 -
纯技术讨论者的天地 - Powered by C114
待解决问题
secure vpn connection terminated locally by the client.Reason 412什么意思？
离问题结束还有0天0小时 &|&
提问时间： 22:19
secure vpn connection terminated locally by the client.Reason 412:the remote peer is no longer responding是什么意思？
意思是你连接的vpn服务端不再给你回应。你先ping下看看链路是否通畅，如果能ping通，说明vpn上做了规则禁止你的ip段访问。
回答时间： 22:26
我要回应：&
回应字数在5000字以内}