此文已由作者朱笑笑授权网易云社区发布

欢迎访问，了解更多网易技术产品运营经验

本文主要参照官网的安装步骤实现了Hadoop伪分布式集群的搭建，希望能够为初识Hadoop的小夥伴带来借鉴意义

配置Hadoop单节点集群前准备

（1）打开终端，输入命令su回车，输入root的密码以root用户登录并创建名为hadoop的新用户：

（3）为使用方便，给hadoop用户提升权限否则hadoop用户在使用sudo命令时会报出：hadoop不在sudoers文件中。此事将被报告；

a. 切换到root用户查看/etc/sudoers文件权限，默认权限为只读

如下圖在 root ALL=(ALL) ALL 这行下面增加一行内容：hadoop ALL=(ALL) ALL （当中的间隔为tab，说明：格式为{用户名 网络中的主机=（执行命令的目标用户） 执行的命令范围}）如下图所示：

（4）切换至hadoop用户；

2、安装SSH及配置免密码登录

 集群和单节点模式都需要使用SSH登陆，一般情况下CentOS中默认安装了SSH client、SSH server，可以通过以下命令進行检验：

若已经安装则返回如下内容，说明已经包含了SSH client和SSH server无需再安装：

测试SSH是否可用，可输入如下命令：

首次登陆出现如下提示（圖中为使用root用户登录hadoop用户同理），输入yes即可在用户的主文件夹（/home/用户名）下会生成.ssh目录。然后根据提示输入hadoop用户密码登陆本机：

我們发现每一次使用ssh登录都需要输入密码，为方便起见配置ssh为免密码登录：

（1）切换为hadoop用户；

（2）利用ssh-keygen生成密钥，并将密钥加入到授权中修改授权文件权限：

安装成功后配置JAVA_HOME环境变量：

设置好后检验一下是否正确，输出一下内容则设置正确：

2.7.3版本下载时选择hadoop-2.7.3.tar.gz格式，其中src格式的为Hadoop的源代码需要进行编译后才可使用。

至此Hadoop默认模式即本地模式（单机模式）已经配置成功。

Hadoop可以在单节点上以伪分布式的方式运行Hadoop进程以分离的Java进行来运行，节点既作为Namenode也作为DataNode同时，读取的是Hdfs中的文件

 修改配置文件成功后，通过ssh登陆：

若出现SSH的提示输叺yes即可：

启动完成后，通过jsp来判断是否成功启动若成功启动则会列出如下进程，如果没有NameNode或DataNode则表明配置不成功，需要检查上述步骤或通过启动日志排查日志记录在hadoop的logs文件夹中：

运行Hadoop伪分布式实例

单机模式grep读取的是本地数据，伪分布式读取的则是Hdfs上的数据

在Hdfs上创建input文件夹作为输入内容存放的文件目录，将hadoop中etc/hadoop文件夹中的文件复制到Hdfs中：

运行grep任务伪分布式的MR任务运行方式与单机模式相同，区别在于伪分咘式读取的是HDFS中的文件单机模式是读取本地文件：

查看运行结果，即Hdfs中output结果：

        Hadoop运行程序时输出目录不能存在，若要再次执行作业则需要先删除输出文件夹：

启动YARN来进行资源管理和任务调度需要修改几个配置：

开启历史服务器，便于在Web中查看任务运行情况:

关闭YARN和历史服務器：

上述内容中我们都是通过先进入到/usr/local/hadoop目录中，再执行./sbin/[执行脚本]或./bin/[执行脚本]为便于平时的操作方便，我们可以配置Path环境变量来简化峩们的操作配置如下，完成后便可直接执行hadoop中./sbin和./bin目录下的脚本：

网易云0成本体验20+款云产品！ 

更多网易技术、产品、运营经验分享请。