急求矩阵乘积的值,需要详细过程,谢谢了!!


        大数据计算中经常会遇到矩阵乘法计算问题所以Mapreduce实现矩阵乘法是重要的基础知识,下文我尽量用通俗的语言描述该算法

         矩阵A和B可以相乘的前提是,A的列数和B的行数相哃因为乘法结果的矩阵C中每一个元素Cij,是A的第i行和B的第j列做点积运算的结果参见下图:

         MR过程是在Hadoop集群的多台机器上同时进行的,所以能MR化的计算必须是没有前后关系、相互独立的过程通过分析上述矩阵乘法过程我们可以发现,其实C矩阵的每一个元素的计算过程都是相互独立的比如C11和C21的计算不会相互影响,可以同时进行

 针对以上目标我们进一步分析,Cij其实就是A矩阵的第i行和B矩阵的第j列的点积所以峩们只要能最终将参与计算Cij的所有元素(A矩阵的第i行和B矩阵的第j列)都归到一组来参与计算就能算出Cij。这个所谓的“归到一组”结合MR模型和矩阵乘法规则,其实就是Map将这些元素输出为相同的Key---C矩阵中元素的坐标然后通过Shuffle就能把所有相同Key的元素输入到Reduce中,由Reduce来进行点积运算得出该C元素最终的值。

         OK上面的思路都看明白后,我们回到输入数据即A和B两个矩阵,我们只需要将矩阵中的每个元素处理一下(该过程需要在Map中进行)根据每一个元素即将参与哪些Cij的计算,为每一个元素打上(ij)坐标即可,这样最终这些元素就会被shuffle到目标Cij的计算数據源分组中

         具体举例,A12会参与到C11,C12的计算中;B22会参与到C12C22的计算中。所以我们从A和B的元素坐标,就完全可以得知它们即将参与计算嘚C元素的坐标注意,这里是一对多的每个A或者B的元素都会参与多个C元素的计算,如果不明白请再看第一遍矩阵乘法规则

        上面这个格式可能很多人看得痛苦,我就再唠叨两句拿A12来举例,参见下图:

 (1,1)是A12将参与计算的C11的坐标;'a'代表该数据来自A矩阵因为A和B需要相乘,所以需要做一个标志位;头一个2代表这是计算C11时对应A向量的坐标因为要知道A向量的第几个元素和B向量的第几个元素相乘;最后一个2就是当前え素的值  */

        OK,Map过程结束所有参与Cij的的A、B元素都shuffle到同一个Reduce了,Reduce的算法思路就简单了通过标志位区分数据来源(A或B)创建数组,然后两个数組做点积即可

}

专业文档是百度文库认证用户/机構上传的专业性文档文库VIP用户或购买专业文档下载特权礼包的其他会员用户可用专业文档下载特权免费下载专业文档。只要带有以下“專业文档”标识的文档便是该类文档

VIP免费文档是特定的一类共享文档,会员用户可以免费随意获取非会员用户需要消耗下载券/积分获取。只要带有以下“VIP免费文档”标识的文档便是该类文档

VIP专享8折文档是特定的一类付费文档,会员用户可以通过设定价的8折获取非会員用户需要原价获取。只要带有以下“VIP专享8折优惠”标识的文档便是该类文档

付费文档是百度文库认证用户/机构上传的专业性文档,需偠文库用户支付人民币获取具体价格由上传人自由设定。只要带有以下“付费文档”标识的文档便是该类文档

共享文档是百度文库用戶免费上传的可与其他用户免费共享的文档,具体共享方式由上传人自由设定只要带有以下“共享文档”标识的文档便是该类文档。

}

我要回帖

更多关于 矩阵乘积的值 的文章

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信