企业级技术 = 艰苦的工作

其实大数據有趣的是它不是直接可以炒作的东西

能够获得广泛兴趣的产品和服务往往是那些人们可以触摸和感受到的，比如：移动应用社交网絡，可穿戴设备虚拟现实等。

但大数据从根本上说是“管道”。当然大数据支持许多消费者或企业用户体验，但其核心是企业的技術：数据库分析等：而这后面几乎没人能看到东西运行。

而且如果大家真正工作过的都知道在企业中改造新技术并不大可能在一夜之間发生。

在这里还是要推荐下我自己建的大数据学习交流群:群里都是学大数据开发的，如果你正在学习大数据 小编欢迎你加入,大家都昰软件开发党，不定期分享干货（只有大数据软件开发相关的）包括我自己整理的一份最新的大数据进阶资料和高级开发教程，欢迎进階中和进想深入大数据的小伙伴加入

早年的大数据是在大型互联网公司中(特别是谷歌，雅虎Facebook，TwitterLinkedIn等)，它们重度使用和推动大数据技术这些公司突然面临着前所未有的数据量，没有以前的基础设施并能招到一些最好的工程师，所以他们基本上是从零开始搭建他们所需偠的技术开源的风气迅速蔓延，大量的新技术与更广阔的世界共享随着时间推移，其中一些工程师离开了大型网络公司开始自己的夶数据初创公司。其他的“数字原生”的公司其中包括许多独角兽，开始面临跟大型互联网公司同样需求无论有没有基础设施，它们嘟是这些大数据技术的早期采用者而早期的成功导致更多的创业基础论文3000字和风险投资。

现在一晃几年了我们现在是有大得多而棘手嘚机会：数据技术通过更广泛从中型企业到非常大的跨国公司。不同的是“数字原生”的公司不必从头开始做。他们也有很多损失：在絕大多数的公司现有的技术基础设施“够用”。这些组织也明白宜早不宜迟需要进化，但他们不会一夜之间淘汰并更换关键任务的系統任何发展都需要过程，预算项目管理，导航部门部署，全面的安全审计等大型企业会小心谨慎地让年轻的创业基础论文3000字公司處理他们的基础设施的关键部分。而且一些(大多数?)企业家压根不想把他们的数据迁移到云中，至少不是公有云

从另一个关键点大家就奣白了：大数据的成功是不是实现一小片技术(如Hadoop的或其他任何东西)，而是需要放在一起的技术人员，流程的流水线你需要采集数据，存储数据清理数据，查询数据分析数据，可视化数据这将由产品来完成，有些由人力来完成一切都需要无缝集成。归根结底对於这一切工作，整个公司从高级管理人员开始，需要致力于建立一个数据驱动的文化大数据不是小事，而是全局的事

换句话说：这昰大量艰苦的工作。

以上解释了为什么几年后虽然很多高调的创业基础论文3000字公司上线也拿到引人注目的风险投资，但只是到达大数据蔀署和早期成熟阶段

更有远见的大公司(称他们为“尝鲜者”在传统的技术采用周期)，在2011 - 2013年开始早期实验大数据技术推出Hadoop系统，或尝试單点解决方案他们招聘了形形色色的人，可能工作头衔以前不存在(如“数据科学家”或“首席数据官”)他们通过各种努力，包括在一個中央储存库或“数据湖”倾倒所有的数据有时希望魔术随之而来(通常没有)。他们逐步建立内部竞争力与不同厂商尝试，部署到线上讨论在企业范围内实施推广。在许多情况下他们不知道下一个重要的拐点在哪里，经过几年建设大数据基础架构从他们公司业务用戶的角度来看，也没有那么多东西去显示它但很多吃力不讨好的工作已经完成，而部署在核心架构之上的应用程序又要开始做了

下一組的大公司(称他们为“早期大众”在传统的技术采用周期)一直呆在场边，还在迷惑的望着这整个大数据这玩意直到最近，他们希望大供應商(例如IBM)提供一个一站式的解决方案但它们知道不会很快出现。他们看大数据全局图很恐怖就真的想知道是否要跟那些经常发音相同，也就凑齐解决方案的创业基础论文3000字公司一起做他们试图弄清楚他们是否应该按顺序并逐步工作，首先构建基础设施然后再分析应鼡层，或在同一时间做所有的还是等到更容易做的东西出现。

同时创业基础论文3000字公司/供应商方面，大数据公司整体第一波(那些成立於2009年至2013)现在已经融资多轮扩大他们的规模，积累了早期部署的成功与失败教训也提供更成熟，久经考验的产品现在有少数是上市公司(包括HortonWorks和New Relic 它们的IPO在2014年12月)，而其他(ClouderaMongoDB的，等等)都融了数亿美元

并购活动仍然不高(35次)。

随创业基础论文3000字活动和资金的持续涌入有些不错嘚资本退出，日益活跃的高科技巨头(亚马逊谷歌和IBM)，公司数量不断增加这里就是2016年和2017年大数据全景图：

很显然这里密密麻麻很多公司，从基本走势方面动态的(创新，推出新的产品和公司)已逐渐从左向右移动从基础设施层(开发人员/工程师)到分析层(数据科学家和分析师嘚世界)到应用层(商业用户和消费者)，其中“大数据的本地应用程序”已经迅速崛起- 这是我们预计的格局

大数据基础架构：创新仍然有很哆

而基础设施领域的不断创新蓬勃发展还是通过大量的开源活动。

2015年毫无疑问是Apache Spark最火的一年这是一个开源框架，利用内存中做处理这開始得到了不少争论，从我们发布了前一版本以来Spark被各个对手采纳，从IBM到Cloudera都给它相当的支持 Spark的意义在于它有效地解决了一些使用Hadoop很慢嘚关键问题：它的速度要快得多(基准测试表明：Spark比Hadoop的MapReduce的快10到100倍)，更容易编写并非常适用于机器学习。

其他令人兴奋的框架的不断涌现並获得新的动力，如FlinkIgnite，SamzaKudu等。一些思想领袖认为Mesos的出现(一个框架以“对你的数据中心编程就像是单一的资源池”)不需要完全的Hadoop。即使昰在数据库的世界这似乎已经看到了更多的新兴的玩家让市场持续，大量令人兴奋的事情正在发生从图形数据库的成熟(Neo4j)，此次推出的專业数据库(时间序列数据库InfluxDB)CockroachDB，(受到谷歌Spanner启发出现号称提供二者最好的SQL和NoSQL)，数据仓库演变(Snowflake)

大数据分析：现在的AI

在过去几个月的大趋势仩，大数据分析已经越来越注重人工智能(各种形式和接口)去帮助分析海量数据，得出预测的见解

最近AI的复活就好比大数据生的一个孩孓。深度学习(获取了最多的人工智能关注的领域)背后的算法大部分在几十年前但直到他们可以应用于代价便宜而速度够快的大量数据来充分发挥其潜力(Yann LeCun, Facebook深度学习研究员主管)。 AI和大数据之间的关系是如此密切一些业内专家现在认为，AI已经遗憾地“爱上了大数据”(Geometric Intelligence)

反过来，AI现在正在帮助大数据实现承诺AI /机器学习的分析重点变成大数据进化逻辑的下一步：现在我有这些数据，我该怎么从中提取哪些洞察?当嘫这其中的数据科学家们 - 从一开始他们的作用就是实现机器学习和做出有意义的数据模型。但渐渐地机器智能正在通过获得数据去协助數据科学家新兴产品可以提取数学公式(Context

由于无监督学习的产品传播和提升，我们有趣的想知道AI与数据科学家的关系如何演变 - 朋友还是敌囚? AI是肯定不会在短期内很快取代数据科学家而是希望看到数据科学家通常执行的简单任务日益自动化，最后生产率大幅提高

通过一切掱段，AI /机器学习不是大数据分析的唯一趋势令人兴奋的趋势是大数据BI平台的成熟及其日益增强的实时能力(SiSense，Arcadia)

大数据应用：一个真正的加速度

由于一些核心基础架构难题都已解决，大数据的应用层迅速建立

在企业内部，各种工具已经出现以帮助企业用户操作核心功能。例如大数据通过大量的内部和外部的数据，实时更新数据可以帮助销售和市场营销弄清楚哪些客户最有可能购买。客户服务应用可鉯帮助个性化服务; HR应用程序可帮助找出如何吸引和留住最优秀的员工;等

专业大数据应用已经在几乎任何垂直领域都很出色从医疗保健(特別是在基因组学和药物研究)，到财经到时尚到司法(Mark43)

首先，很多这些应用都是“大数据同乡”因为他们本身就是建立在最新的大数据技術，并代表客户能够充分利用大数据的有效方式无需部署底层的大数据技术，因为这些已“在一个盒子“至少是对于那些特定功能 - 例洳，ActionIQ是建立在Spark上因此它的客户可以充分利用他们的营销部门Spark的权力，而无需实际部署Spark自己 - 在这种情况下没有“流水线”。

第二人工智能同样在应用程序级别有强大吸引力。例如在猫捉老鼠的游戏，安全上AI被广泛利用，它可以识别黑客和打击网络攻击 “人工智能”对冲基金也开始出现。全部由AI驱动数字助理行业已经去年出现从自动安排会议(x.ai)任务，到购物为您带来一切这些解决方案依赖人工智能的程度差别很大，从接近100%的自动化到个人的能力被AI增强 - 但是，趋势是明确的

在许多方面，我们仍处于大数据的早期尽管它发展了幾年，建设存储和数据的过程只是第一阶段的基础设施 AI /机器学习出现在大数据的应用层的趋势。大数据和AI的结合将推动几乎每一个行业嘚创新这令人难以置信。从这个角度来看大数据机会甚至可能比人们认为的还大。

随着大数据的不断成熟这个词本身可能会消失或鍺变得过时，没有人会使用它了它是成功通过技术，变得很普遍无处不在，并最终无形化

在这里还是要推荐下我自己建的大数据学習交流群:，群里都是学大数据开发的如果你正在学习大数据 ，小编欢迎你加入,大家都是软件开发党不定期分享干货（只有大数据软件開发相关的），包括我自己整理的一份最新的大数据进阶资料和高级开发教程欢迎进阶中和进想深入大数据的小伙伴加入。