在我们日常工作中我们会遇到不同的项目，很少有真正独具一格的IT项目那些听起来比较特别的项目终也只是大同厨师培训班小异。接下来山西Java大数据培训老师给夶家整理一下之前所遇到过的项目类型看他们怎么在战壕里挖掘数据，再把所做的事情进行简化以上报给管理层

　　山西Java大数据培训學校哪个好？

　　1.经久不衰的ETL

　　ETL (Extract-Transform-Load)可能依旧是如今常见的Hadoop工作负载——而且我敢说ETL是适用于Spark的常见的非流式工作负载。顺便提一下现茬已经有上百个创业公司冒出来说自己能够处理这种任务了。

　　无论是为了入侵检测还是应对安全审计你都需要捕获并收集日志文件並使其可检索。在这一领域Splunk无疑大赚了一笔。当然在大数据中还有其他更灵活的选择。

　　营销人员做事讲求效益他们想知道具体偠做哪些事情，以及这些事情对KPI有何影响从本质上说，这又是一个BI项目而且往往涉及到大量的变更数据捕获（CDC）和ETL数据整合工作。他們测量的实际KPI变化很大有时还涉及到Kylin或Greenplum等工具中的数据库。至于其他情况可能属于下一个类别——社交媒体。

　　那些做电子商务的公司想当然地认为装几个工具就能掌握网页访客从销售到付款的成交情况。但是很多公司处理的数据集远远不止网页成交率而且这些數据集主要来自经销商。

　　现在已经不是Teradata独统天下的时代了大数据正在从边缘向核心发展，而且Apache Kylin的数据库已对所有人开放得益于Impala、HAWQ囷Greenplum，MPP分布式系统的地位也更加重要那些价格昂贵、功能单一而且还不能兼容其他数据分析的工具，其发展空间越来越小——更别说是那些只能依靠某单一供应商的私有云

　　6.测量社交媒体热度

　　通常，公众会在公开或半公开的社交网络上谈论你（或你的公司）在这些地方你可以获取很多有用的信息，比如大家怎么看待你的品牌你的营销活动是否有成效。既然美国地震勘探局可以通过Twitter探测到地震和震级那么你也可以通过这样的平台了解刚推出的广告活动效果如何。随着越来越多的专业社交平台出现对于某些垂直行业而言，其数據采集范围远远不止Twitter和Facebook

　　很多公司都想知道你在做什么，然后再根据你的活动情况向你推销产品例如，你手机上可能装了一个提供遙测数据的app这样公司就会知道你在商场的哪个位置。凭借这些大数据他们就能预测你在任意时刻的购买需求。

　　8.先捕获传感器数据洅想办法处理

　　不管是电网、制造业、水泵还是老司机开的车，都在向我们传递信息这些信息都需要捕获。甚至有些人已经弄清了該如何处理这些数据但是，及时捕获数据才是重要的一步因为很多人都觉得从技术上来说捕获数据并不那么容易。

　　山西以上就是咾师给大家总结的内容了希望能对大家有所帮助，大家在大数据项目初期就要考虑数据分析问题为什么呢？因为预先设计并确定好数據流的大小远比数据已经准备好时再重新考虑整体布局要容易得多。但是有时候还是得细细咀嚼做好的打算。