拒绝访问 | www.yingjiesheng.com | 百度云加速
请打开cookies.
此网站 (www.yingjiesheng.com) 的管理员禁止了您的访问。原因是您的访问包含了非浏览器特征(3ff3bf1c-ua98).
重新安装浏览器，或使用别的浏览器登录以解锁更多InfoQ新功能
获取更新并接收通知
给您喜爱的内容点赞
关注您喜爱的编辑与同行
966,690 二月 独立访问用户
语言 & 开发
架构 & 设计
文化 & 方法
您目前处于：
阿里巴巴的数据研发体系是如何建立和管理的？
阿里巴巴的数据研发体系是如何建立和管理的？
14&他的粉丝
，人工智能、区块链、大数据、架构等领域海内外先驱实践！
亲爱的读者：我们最近添加了一些个人消息定制功能，您只需选择感兴趣的技术主题，即可获取重要资讯的。
数据研发经常会遇到这些问题：
研发人数较多（超千人），频繁上下线，如何解决开发效率的问题？业务高速发展，数据量爆炸式的增长，如何有效控制存储与计算的线性增长？从数据采集到数据消费的整个链路非常复杂，如何保障整个数据链路的质量与产出时间？大数据建设的标准规范，如何制定并有效的执行？数据浩瀚如烟、纷繁复杂，如何能够迅速的找到自己想要的数据？
经过几年的摸索，我们通过 OneData 研发体系能够比较有效的解决上述问题。OneData 定位是：一个指标一个算法，一个维度属性只有一个名字，模型规范化，从算法定义、数据研发到数据服务，可管理追溯从而规避重复建设。
张磊，拥有多年数据研发经验，现任阿里数据技术及产品部高级技术专家，参与过阿里集团的登月计划、公共层建立等多个重大项目。
QCon是由InfoQ主办的全球顶级技术盛会，每年在伦敦、北京、东京、纽约、圣保罗、杭州、旧金山召开。自2007年3月份首次举办以来，已经有包括传统制造、金融、电信、互联网、航空航天等领域的近万名架构师、项目经理、团队领导者和高级开发人员参加过QCon大会。
语言 & 开发
300 他的粉丝
架构 & 设计
725 他的粉丝
4 他的粉丝
0 他的粉丝
0 他的粉丝
42 他的粉丝
1 他的粉丝
相关厂商内容
相关赞助商
告诉我们您的想法
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
允许的HTML标签: a,b,br,blockquote,i,li,pre,u,ul,p
当有人回复此评论时请E-mail通知我
赞助商链接
架构 & 设计
文化 & 方法
InfoQ.com及所有内容，版权所有 ©
C4Media Inc. InfoQ.com 服务器由 提供, 我们最信赖的ISP伙伴。
极客邦控股（北京）有限公司
找回密码....
InfoQ账号使用的E-mail
关注你最喜爱的话题和作者
快速浏览网站内你所感兴趣话题的精选内容。
内容自由定制
选择想要阅读的主题和喜爱的作者定制自己的新闻源。
设置通知机制以获取内容更新对您而言是否重要
注意：如果要修改您的邮箱，我们将会发送确认邮件到您原来的邮箱。
使用现有的公司名称
修改公司名称为：
公司性质：
使用现有的公司性质
修改公司性质为:
使用现有的公司规模
修改公司规模为：
使用现在的国家
使用现在的省份
Subscribe to our newsletter?
Subscribe to our industry email notices?
我们发现您在使用ad blocker。
我们理解您使用ad blocker的初衷，但为了保证InfoQ能够继续以免费方式为您服务，我们需要您的支持。InfoQ绝不会在未经您许可的情况下将您的数据提供给第三方。我们仅将其用于向读者发送相关广告内容。请您将InfoQ添加至白名单，感谢您的理解与支持。他的最新文章
他的热门文章
您举报文章：
举报原因：
原文地址：
原因补充：
(最多只允许输入30个字)阿里巴巴数据事业部（大数据方向）实习生内推_实习生吧_百度贴吧
&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&&签到排名：今日本吧第个签到，本吧因你更精彩，明天继续来努力！
本吧签到人数：0成为超级会员，使用一键签到本月漏签0次！成为超级会员，赠送8张补签卡连续签到：天&&累计签到：天超级会员单次开通12个月以上，赠送连续签到卡3张
关注：56,093贴子：
阿里巴巴数据事业部（大数据方向）实习生内推收藏
给大家带来福利啦！我自己是09级本科生（测控），今年（2015）7月份硕士毕业。2014年9月份签了阿里巴巴，做大数据方向的研发工作。我们部门很好，很缺人。废话少说，我说下具体情况吧。目前是招大数据方向（数据研发工程师）实习生（只要实习期间表现不错，转正就没问题）。直接内网copy的，岗位描述和要求：职位方向： SQL,数据库技术,分布式数据库,Hadoop,Linux,JAVA,元数据管理 岗位描述： 如果你想，参与阿里大数据的采集、存储、处理，通过分布式大数据平台加工数据，支持业务管理决策。 如果你想，参与阿里大数据体系的设计、开发、维护，通过数据仓库、元数据、质量体系有效的管理和组织几百P的数据。 如果你想，参与阿里大数据产品的研发，通过对数据的理解，发挥你的商业sense，发掘数据价值，探索大数据商业化。 如果你想，接触世界领先的大数据处理与应用的技术和平台，获得大数据浪潮之巅的各类大牛的指导。 岗位要求： 如果你，所学专业是计算机、数学、统计等相关专业。 如果你，有较强的动手能力和学习能力，熟悉一门数据处理语言，如SQL、JAVA、Python、Perl等，熟悉unix或者linux操作。 如果你，具备扎实的专业基础，良好的沟通能力和团队合作，主动积极、乐于面对挑战。 如果你，有参与数据处理、分析、挖掘等相关项目更好。 如果你，对Hadoop、Hive、Hbase等分布式平台有一定的理解更好。 那么，成为数据研发工程师吧，这里就是你的舞台。 工作地点： 北京市,广州市,成都市,杭州市 －－－－－－－－－－－－－－－－－－－－－－－－－以上是整个集团各个部门的一个整体需求，至于我们部门呢，我根据我目前实习情况来写下需求吧：1，参与过实际数据库设计，MySQL , Oracle等（也就是，必须熟练SQL）；2，懂java语言（如果熟练加分），如果还会node.js,python,shell加分；3，折腾过hadoop,理解mapreduce原理（能跟我讲明白，我绝对大力推荐），读过源码加分；4 , 折腾过hive,udf,懂得优化的加分；5，折腾过hbase加分；6，没有要求了。当然，如果你个人能吃苦，学习能力强，请直接看第（忽）6（略）条（前）需（5）求（条）。有想法的同学可以发简历给我，我帮你推荐一下！（真的很缺人，很缺人！！！）联系方式：阿里旺旺：流香电话／微信:简历发送至：待遇：私底下问我大家有任何问题，旺旺、微信联系我都可以。不限本科／硕士，不限男女，不限年级。总之，阿里真的很包容。另外：大家情人节快乐，新年快乐!
51Job实习频道,为应届毕业生或在校生免费提供热门的全职,实习招聘信息招聘信息,免费注册会员,填写简历,搜索您想要的江苏职位,找工作也可以这样轻松!
hit的学长？
学长现在还有内推么感觉和我很符合学长的需求，就是时间差了10个月
学长可以留一下联系方式吗？
登录百度帐号阿里总部对外解密双11超级工程背后的数据库技术阿里总部对外解密双11超级工程背后的数据库技术疯狂的电脑百家号日，阿里巴巴数据库事业部联合技术战略部在阿里西溪园区总部，也是双11技术的发源地，举办了一场线下《双11数据库技术峰会》，超过100名企业CTO、CIO和数据架构师到场参加，现场座无虚席。阿里巴巴集团数据库技术总负责人、阿里研究员张瑞做了开场分享。张瑞2005年加入阿里，前两天刚刚满13周年，亲历了阿里整个数据库技术的变迁和发展。数据库理论在上世纪70年代被提出，Oracle抓住了机会，推出了基于磁盘设计的数据库。后来，Flash技术成熟、PC上CPU能力增强，在这两个背后推手下，阿里完成了去IOE的数据库架构升级。随着互联网技术快速发展，分布式大数据也开始冲击着传统的关系型数据库。一直以来，双11是阿里技术的助推剂，阿里通过分布式数据库中间件扩展已经能较好地支持双十一活动，这个背景下，从2016年阿里巴巴开始思考需要的下一代的数据库到底是什么？一个是已经成熟的分布式架构，一个是今天与云结合的很紧密的存储计算分离技术。双11极端的压力下还要优化成本，希望用原来1/10的成本把性能再提升10倍，今天新的硬件也在快速发展，包括内存、FPGA、更高效的网络等等。站在当下看未来，数据库现在又到了技术的最前沿，各种技术百花齐放。最后，张瑞表示，希望和在座的各位一起来探索未来十年数据库的改变与突破。阿里资深专家佳毅带来双11黑科技分享《数据库优化之路》。他提到，双11数据库面临三大挑战：数据强一致的问题、性能问题、成本问题。今年使用阿里新一代数据库X-DB来应对这些挑战。X-DB底层使用自研高性能Paxos基础组件X-Paxos，借此解决数据强一致的问题。对于性能和成本，底层使用Batching 和Pipelining技术来大大提升数据库的事务处理能力。同时佳毅也分享了通过ESDB、X-KV等技术解决各种复杂的性能问题，通过容器化与存储计算分离让数据库做到极致弹性，最后佳毅分享了阿里巴巴正在通过CloudDBA产品大大降低DBA服务人力成本的问题。玄惭是云上的数据库性能优化高级专家，同时也是历年双十一RDS的技术保障负责人，他的分享是《云数据库RDS双11最佳实践》。当使用云上的RDS需要支撑类似双11这样的大型活动的时候，玄惭分享了如何从参数优化、链路访问、性能优化、弹性扩容、架构设计，这五个方面去优化数据库，应对高并发的访问。IoT是当前最热门的技术趋势之一，大量IoT设备产生的时序数据该如何存储？在接下来阿里时序数据库高级专家悠你的分享中，以一个典型的工业IoT案例-风电场为案例，介绍了如何使用云端的高性能时序数据库HiTSDB来存储大量的时序数据存储。同时介绍了HiTSDB在时序数据处理上的主要优势，包括聚合查询、实时响应、海量数据存储等方面的优秀技术成果。下午的第一场由阿里资深专家斗佛带来《企业数据安全管理最佳实践》。一直以来，由于数据访问的随意，给企业数据带来非常大的泄露风险，甚至也出现过很多次企业的CEO或者CIO为此而被迫辞职的情况发生。硬件损坏、软件bug、内部数据泄露等等都是企业数据安全的挑战。斗佛介绍了阿里巴巴数据安全解决方案如何解决这些问题。同时他透露，对应的阿里云上即将商业化的“数据管理DMS企业版”将把阿里内部的经验赋能给所有云上的用户。从08年开始，阿里巴巴内部就开始了分库分表技术的探索，10年来，在内部沉淀的分库分表数据库中间件产品叫TDDL，对应的在云上的产品为DRDS。这一次，阿里分布式数据库技术专家梦实给大家带来了全新一代的DRDS引擎，带了数倍的性能提升、更复杂的SQL能力、更具可读性的优化器执行计划等。他还透漏了一个重磅消息，新一代引擎将很快发布，并且在今年会对外完全开源。阿里OLAP数据库高级专家知数在《分析型数据库AnalyticDB2.0双11实践》中为大家介绍了如何使用实时分析型数据库ADS来解决一些在线OLAP型业务问题。比较典型的场景包括营销管理、推荐、预测、安全风控等。知数以阿里双11内部多个场景为案例，展示ADS在这些业务上的表现。随着DT时代的到来，企业占有的数据越来越多，其规模可能达到上百TB甚至PB级，如何以合理的成本管理并维护这样一个数据库也成为各个企业IT管理中的核心问题。阿里云数据库高级专家南仙的分享《云数据库HybridDB HTAP技术实践》介绍了如何通过阿里云数据库团队自研的新型HTAP数据库，同时支持OLTP和OLAP场景，它基于创新的计算存储框架，在一份数据上保证事务的同时支持实时分析，省去了费时的ETL过程。随着企业业务的发展，内部的数据流动会变成一个很大的挑战。阿里数据库架构师西壁带来的《数据实时同步解决方案》介绍双11数据突增时，如何解决阿里内部的数据流动，具体的场景包括异地多活、媒体大屏、缓存更新、实时消息、新零售混合云等。如果是阿里云上的用户，则可以通过数据传输服务DTS来解决类似场景的问题。在最后的圆桌会议环节，多位阿里数据库技术专家畅谈了自己对双11技术、异地多活、分布式数据库、分库分表技术等的展望，同时也回答多个参会者相关的问题。从全国多个城市赶来的参会嘉宾表示不虚此行，直言这是近几年听到最纯正的技术型会议。本文仅代表作者观点，不代表百度立场。系作者授权百家号发表，未经许可不得转载。疯狂的电脑百家号最近更新：简介:你的生活是科学技术的细致服务。作者最新文章相关文章}