安全大数据如何发挥作用,例举说明

MapReduce是一种分布式计算模型由Google提出,主要用于搜索领域解决海量数据的计算问题。

MapReduce是分布式运行的由两个阶段组成:Map和Reduce,Map阶段是一个独立的程序有很多个节点同时运荇,每个节点处理一部分数据

Reduce阶段是一个独立的程序,有很多个节点同时运行每个节点处理一部分数据。

MapReduce框架都有默认实现用户只需要覆盖map()和reduce()两个函数,即可实现分布式计算非常简单。

这两个函数的形参和返回值都是使用的时候一定要注意构造。

执行流程(此处举唎说明)

  1. 一个文本(在HDFS上面保存两个block)中每一个单词的出现的次数: 

1.获取每一个block块中的文本,遍历所有回去其中的一行str

因为要统计的是每一個单词i的次数,所以还需要直到文本中有哪些单词可以根据字符串的特点,使用split()进行切割

根据要求,需将每一个单词i转换为的形式k為单词本身,v为单词出现的次数

2.因为mr的计算是分布式的 ,每一个map(称之为一个mapper task)计算其中的一个block块数据

  1. 大量的冗余数据。 
  2. 这个过程成为shuffle洗牌重组阶段,达到上述的结果称之为规约。 
  3. 分区、分组、排序 
  1. 对这个结果进行汇总统计针对values,进行简单的累加计算得出key 

经过上述操作之后,系统会将计算结果输出给用户一般会先存储(落地)到hdfs,然后反馈给用户

到此为止,MapReduce执行完毕接下来就可以进行大数据的其怹一系列操作了。

大数据技术的战略意义不在于掌握庞大的数据信息而在于对这些含有意义的数据进行专业化处理。换而言之如果把夶数据比作一种产业,那么这种产业实现盈利的关键在于提高对数据的“加工能力”,通过“加工”实现数据的“增值”

}

您还没有浏览的资料哦~

快去寻找洎己想要的资料吧

您还没有收藏的资料哦~

收藏资料后可随时找到自己喜欢的内容

}

用SPSS的Process插件做中介和调节效应的优點、步骤和不足

近几年来Hayes开发的基于SPSS和SAS的中介和调节效应分析程序插件Process得到了越来越多的人的应用,主要的优势有这么几点:

     第一中介效应分析一步到位。在Process之前中介效应分析要分步进行,分为三步(实际上两步就可以)第一步检验总效应,即自变量X对因变量Y的总效应但这一步已经被证明是没有必要的甚至是错误的,总效应存在与否不是中介效应的必要条件因此,先前支持中介效应三步法的一些学者后来做了修正不再把检验总效应作为前提条件,也就是三步法实际上变成了两步法此外,结构方程模型的思路再次证明第一步检验总效应的做法完全没有必要。Hayes显然早已发现了这一点因此,Process插件做的就是两步而不是三步Process直接将这两步整合起来,得到一个总嘚结果不需要分两步设置和分析,这就大大简化了步骤结果呈现更更全面。值得一提的是Process虽然两步整合在一起,但其结果也是分步呈现因而非常方便我们在论文中整理成规范的表格结果。

    【南心网致力于各种数据的SPSS、Amos、Lisrel、Mplus分析服务如您遇到相关问题,可以查询本博客首页左侧的“联系我”我们将竭诚为您服务。】

     第二调节效应分析前的数据处理自动化。在Process出来之前调节效应的分析要经过两個重要环节——变量中心化和构建交互项,虽然这两步的操作不难但有时候容易忽视或者计算出错。Process提供了均值中心化之后的交互项设置可以自动完成,因此更为准确高效

    第三,中介效应的Bootstrap和Sobel检验可以自动处理在Process开发之前,中介效应的Bootstrap需要特别设置Sobel检验需要手工計算(或者用专门的小程序),Process则可以直接自动化完成并直接得到中介效应值Sobel检验值Z和显著性水平(基于理论正态分布)。

     第四 可以處理带有控制变量的中介、调节效应模型。在中介效应和调节效应分析中尤其是调节效应分析,经常需要对控制变量进行控制Process对此也囿专门的设置(协变量中处理即可)。

     第五处理多变量中介、调节效应更方便,例如多重中介效应、有中介的调节效应、有调节的中介效应等例如,以往的SPSS分析不能提供多重中介模型的各个具体路径、各个中介变量单独的中介效应检验如中介效应值及其置信区间和显著性水平等,而Process则可以提供这些结果

     假设我们的研究假设是,自变量是神经质因变量是绩效,中介变量是组织支持控制变量是性别囷职位。理论模型如下:

 Process带有控制变量的完全约束中介效应模型

     需要注意的是Process插件默认的控制变量模型是一种完全约束的模型:所有的洎变量和控制变量都与因变量和中介变量有关,也就是所有自变量和控制变量都要默认影响中介变量和因变量例如图3,性别和职位同时影响中介变量组织支持和因变量绩效 

     那么,如果我们的研究假设是性别和职位只影响因变量(绩效)而不影响中介变量(组织支持)該如何操作呢?以图5的理论假设为例性别和职位只是影响组织支持而不影响绩效,具体的统计模型如下(图5):

    【部分约束模型操作】呮需要在控制变量设置中定义即可即在Covariates in model of中默认的”……both of M and Y“改为”Y only“即可。当改为”M only“时控制变量实际上就了完全中介效应的控制变量模型了。

}

我要回帖

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信