在mac上学习hadoop需不需要像window一样安装虚拟机

先给大家看看配置好的集群截图:

一.新建虚拟机配置基础java环境,配置网络访问

    验证:新开终端输入java验证(当前终端内不生效)

    接下来,配置网络(为啥要配置:因为伱搭的是集群用的是集群的服务,肯定想除了集群以外的机器能访问而不是像网上那些人省事,直接在master上安装Eclipse进行开发,这样是不對的举个例子,我的宿主机是Windows用VirtualBox搭的集群,我想在windows上使用Eclipse进行编程使用集群的Hadoop服务,我可不想在master上安装Eclipse开发虽然会省掉不少错误解决的麻烦事,但是是不对的!服务就是要远程调用的)

    设置第一个网卡:NAT可以使虚拟机使用宿主机的IP上网这样,你的虚拟机就可以缺什么软件就安什么了方便!

    选中第一台ubuntu_0(一定要关闭它),你会发现右侧的绵羊(你应该知道为啥是绵羊吧)图标是可以点击的我现茬用着集群呢,懒得关索性找张别人的图,点开后的样子是这样的:

注意要重置网卡设置命名随便了。我一共clone了3个虚拟机名字分别昰Ubuntu_1,Ubuntu_2Ubuntu_3,“完全复制”一直点确定。

三.设置虚拟机静态IP

    为啥要设置呢虚拟机默认是DHCP的,如果你搭建Hadoop集群不能总是让Hadoop集群所在的机器啟动一次就换一次IP吧,那麻烦了所以,设置静态IP很有必要

    以上操作四台机器必须都应用!好了,重启吧!

四.安装SSH使得master可以无密码登錄所有slave节点(不解释原因)


你也可以输入192.168.99.101:50070访问,不给你们截图宿主机浏览器有不少标签

}

最近在学习Hadoop于是想使用VMWare建立一個虚拟的集群环境。网上有很多参考资料但参照其步骤进行设置时却还是遇到了不少问题,所以在这里详细写一下我的配置过程以及其中遇到的问题及相应的解决方法。一来做个记录二来也希望能帮到大家。

我们要建立一个具有如下配置的集群:

将JAVA_HOME一行的注释去掉並改为如下设置:

然后添加环境变量 vi ~/.bash_profile ,使其内容如下所示(已经合并了前面关于JAVA的设置)

现在就可以在shell中运行hadoop以确定能正常执行了。下面還要对hadoop进行设置所有要设置的文件都在~/bin/hadoop-0.20.2/conf目录下。如果你足够懒的话可以在windows下创建这几个文件,把相应的内容复制到文件中然后通过pscp.exe複制到虚拟机中去。

masters的内容为空此文件用于配置secondary name node,我这次建立的集群不需要此节点如果需要的话可以将其主机名加入此文件中(别忘叻在/etc/hosts中加入相应的条目)。

使用VMWare中clone功能复制出另外两台虚拟机,分别命名为slave1和slave2因为克隆出的虚拟机网卡地址已经改变,所以要分别在複制出的两台虚拟机中执行以下操作:

打开三台虚拟机登录到master中,执行如下命令:

中间可能需要输入密码 按提示输入即可。现在分别執行如下命令

不需要再输入密码就对了


如果你是一步一步操作下来的,应该不会遇到什么问题如果有问题,欢迎一起来讨论

}

我要回帖

更多推荐

版权声明:文章内容来源于网络,版权归原作者所有,如有侵权请点击这里与我们联系,我们将及时删除。

点击添加站长微信