Hadoop伪分布式集群搭建

软件准备

我使用的是CentOS-6.6的虚拟机，主机名为repo。参考在Windows中安装Linux虚拟机的步骤，我在该虚拟机中安装了JDK，参考在Linux中安装JDK的指南。此外，该虚拟机配置了免秘钥登录自身，参考配置各台虚拟机之间免秘钥登录的设置。Hadoop安装包的下载地址为：https://www.php.cn/link/eecd2755d73701aa057cd2a32bd7b1e2。

1. 将Hadoop安装包上传到服务器并解压

   [root@repo ~]# tar zxvf hadoop-2.6.5.tar.gz -C /opt/apps/

2. 配置环境变量

   # 可以直接定位到文件的最后一行
   [root@repo hadoop-2.6.5]# vi + /etc/profile
   export HADOOP_HOME=/opt/apps/hadoop-2.6.5
   export PATH=$PATH:$HADOOP_HOME/bin:$HADOOP_HOME/sbin
   [root@repo hadoop-2.6.5]# . /etc/profile

3. 修改 hadoop-env.sh、mapred-env.sh、yarn-env.sh 这三个配置文件，添加JAVA_HOME

   [root@repo hadoop]# pwd
   /opt/apps/hadoop-2.6.5/etc/hadoop
   [root@repo hadoop]# vi hadoop-env.sh
   export JAVA_HOME=/usr/local/jdk1.8.0_73
   [root@repo hadoop]# vi mapred-env.sh
   export JAVA_HOME=/usr/local/jdk1.8.0_73
   [root@repo hadoop]# vi yarn-env.sh
   export JAVA_HOME=/usr/local/jdk1.8.0_73

4. 修改 core-site.xml 和 hdfs-site.xml 配置文件，配置伪分布式相关的内容

   

   H5自适应企业网站源码1.0.1

   H5自适应企业网站源码是一套非常优秀的asp自适应企业网站源码，这套源码有很多优秀的功能，也是很多企业网站所不具备的。H5自适应企业网站源码使用asp+access搭建，运行环境要求windows+IIS。网站前台是动态页面，不过网址URL已经做了伪静态处理，URL的格式都是.html结尾，对搜索引擎也比较友好。H5自适应企业网站源码的一个亮点功能就是会员等级制度及权限划分功能，普通会员栏目发布的

   下载

   [root@repo hadoop]# vi core-site.xml
   
   
    fs.defaultFS
    hdfs://repo:9000
   
   
    hadoop.tmp.dir
    /var/hadoop/pseudo
   
   
   [root@repo hadoop]# vi hdfs-site.xml
   
   
    dfs.replication
    1
   
   
    dfs.namenode.secondary.http-address
    repo:50090
   
   

5. 修改 slaves 配置文件，指定DataNode所在的节点

   [root@repo hadoop]# vi slaves
   repo

6. 格式化文件系统

   [root@repo hadoop]# hadoop namenode --format
   # 成功信息
   17/09/16 21:17:11 INFO common.Storage: Storage directory /var/hadoop/pseudo/dfs/name has been successfully formatted.

7. 启动HDFS和YARN

   [root@repo hadoop]# start-dfs.sh
   Starting namenodes on [repo]
   repo: starting namenode, logging to /opt/apps/hadoop-2.6.5/logs/hadoop-root-namenode-repo.out
   repo: starting datanode, logging to /opt/apps/hadoop-2.6.5/logs/hadoop-root-datanode-repo.out
   Starting secondary namenodes [repo]
   repo: starting secondarynamenode, logging to /opt/apps/hadoop-2.6.5/logs/hadoop-root-secondarynamenode-repo.out
   [root@repo hadoop]# start-yarn.sh
   starting yarn daemons
   starting resourcemanager, logging to /opt/hadoop-2.7.4/logs/yarn-root-resourcemanager-repo.out
   repo: starting nodemanager, logging to /opt/hadoop-2.7.4/logs/yarn-root-nodemanager-repo.out
   [root@repo hadoop]# jps
   4368 Jps
   3957 ResourceManager
   3512 NameNode
   3641 DataNode
   4058 NodeManager
   3805 SecondaryNameNode

8. 访问WEB页面 搭建成功！