<span class="log-zd"><span class="log-close"><a title="隐藏目录"><i class="be be-cross"></i><strong>目录</strong></a></span></span>

Hadoop+HBase 集群搭建

1. 环境准备

说明：本次集群搭建使用系统版本Centos 7.5 ，软件版本 V3.1.1。

1.1 配置说明

本次集群搭建共三台机器，具体说明下:

  <td rowspan="1" colSpan="1">
    <div data-type="alignment" data-value="center" style="text-align:center">
      <div data-type="p">
        IP
      </div></p>
    </div>
  </td>
  
  <td rowspan="1" colSpan="1">
    <div data-type="alignment" data-value="center" style="text-align:center">
      <div data-type="p">
        说明
      </div></p>
    </div>
  </td>
</tr>

<tr height="34px">
  <td rowspan="1" colSpan="1">
    <div data-type="alignment" data-value="center" style="text-align:center">
      <div data-type="p">
        hadoop01
      </div></p>
    </div>
  </td>
  
  <td rowspan="1" colSpan="1">
    <div data-type="alignment" data-value="center" style="text-align:center">
      <div data-type="p">
        10.0.0.10
      </div></p>
    </div>
  </td>
  
  <td rowspan="1" colSpan="1">
    <div data-type="p">
      DataNode、NodeManager、NameNode
    </div>
  </td>
</tr>

<tr height="34px">
  <td rowspan="1" colSpan="1">
    <div data-type="alignment" data-value="center" style="text-align:center">
      <div data-type="p">
        hadoop02
      </div></p>
    </div>
  </td>
  
  <td rowspan="1" colSpan="1">
    <div data-type="alignment" data-value="center" style="text-align:center">
      <div data-type="p">
        10.0.0.11
      </div></p>
    </div>
  </td>
  
  <td rowspan="1" colSpan="1">
    <div data-type="p">
      DataNode、NodeManager、ResourceManager、SecondaryNameNode
    </div>
  </td>
</tr>

<tr height="34px">
  <td rowspan="1" colSpan="1">
    <div data-type="alignment" data-value="center" style="text-align:center">
      <div data-type="p">
        hadoop03
      </div></p>
    </div>
  </td>
  
  <td rowspan="1" colSpan="1">
    <div data-type="alignment" data-value="center" style="text-align:center">
      <div data-type="p">
        10.0.0.12
      </div></p>
    </div>
  </td>
  
  <td rowspan="1" colSpan="1">
    <div data-type="p">
      DataNode、NodeManager
    </div>
  </td>
</tr>

1.2 机器配置说明

注：本集群内所有进程均由clsn用户启动

1.3 ssh互信配置

1.4 配置jdk

在三台机器上都需要操作

2. 安装hadoop

2.1 安装包下载（Binary）

2.2 安装

3.修改hadoop配置

配置文件全部位于 /usr/local/hadoop/etc/hadoop 文件夹下

3.1 hadoop-env.sh

3.2 core-site.xml

3.3 hdfs-site.xml

3.4 mapred-site.xml

3.5 yarn-site.xml

3.6 masters & slaves

3.7 启动脚本修改

启动脚本文件全部位于 /usr/local/hadoop/sbin 文件夹下：
（1）修改 start-dfs.sh stop-dfs.sh 文件添加：

（2）修改start-yarn.sh 和 stop-yarn.sh文件添加：

4. 启动前准备

4.1 创建文件目录

在集群内所有机器上都进行创建，也可以复制文件夹

4.2 复制hadoop配置到其他机器

4.3 启动hadoop集群

(1)第一次启动前需要格式化

(2)启动集群

5.集群启动成功

（1）使用jps查看集群中各个角色，是否与预期相一致

（2）浏览器访问http://hadoop02:8088/cluster/nodes
该页面为ResourceManager 管理界面，在上面可以看到集群中的三台Active Nodes。

6.Hbase配置

6.1 部署Hbase包

6.2 修改配置文件

6.2.1 hbase-env.sh

6.2.2

注意:

zookeeper有这样一个特性：
集群中只要有过半的机器是正常工作的，那么整个集群对外就是可用的。
也就是说如果有2个zookeeper，那么只要有1个死了zookeeper就不能用了，因为1没有过半，所以2个zookeeper的死亡容忍度为0；
同理，要是有3个zookeeper，一个死了，还剩下2个正常的，过半了，所以3个zookeeper的容忍度为1；
再多列举几个：2->0 ; 3->1 ; 4->1 ; 5->2 ; 6->2 会发现一个规律，2n和2n-1的容忍度是一样的，都是n-1，所以为了更加高效，何必增加那一个不必要的zookeeper

6.2.3 regionservers

6.2.4 分发配置到其他节点

6.3 启动hbase集群

6.3.1 启动hbase

访问 http://hadoop01:16610/master-status 查看hbase状态

6.3.2 启动hbase 客户端

7. 参考文献

https://hadoop.apache.org/releases.html
https://my.oschina.net/orrin/blog/1816023
https://www.yiibai.com/hadoop/
http://blog.fens.me/hadoop-family-roadmap/
http://www.cnblogs.com/Springmoon-venn/p/9054006.html
https://github.com/googlehosts/hosts
http://abloz.com/hbase/book.html

    <li>
      <a href="#2_hadoop">2. 安装hadoop</a><ul>
        <li>
          <a href="#21_Binary">2.1 安装包下载（Binary）</a>
        </li>
        <li>
          <a href="#22">2.2 安装</a>
        </li>
      </ul>
    </li>
    
    <li>
      <a href="#3hadoop">3.修改hadoop配置</a><ul>
        <li>
          <a href="#31_hadoop-envsh">3.1 hadoop-env.sh</a>
        </li>
        <li>
          <a href="#32_core-sitexml">3.2 core-site.xml</a>
        </li>
        <li>
          <a href="#33_hdfs-sitexml">3.3 hdfs-site.xml</a>
        </li>
        <li>
          <a href="#34_mapred-sitexml">3.4 mapred-site.xml</a>
        </li>
        <li>
          <a href="#35_yarn-sitexml">3.5 yarn-site.xml</a>
        </li>
        <li>
          <a href="#36_masters_slaves">3.6 masters & slaves</a>
        </li>
        <li>
          <a href="#37">3.7 启动脚本修改</a>
        </li>
      </ul>
    </li>
    
    <li>
      <a href="#4">4. 启动前准备</a><ul>
        <li>
          <a href="#41">4.1 创建文件目录</a>
        </li>
        <li>
          <a href="#42_hadoop">4.2 复制hadoop配置到其他机器</a>
        </li>
        <li>
          <a href="#43_hadoop">4.3 启动hadoop集群</a>
        </li>
      </ul>
    </li>
    
    <li>
      <a href="#5">5.集群启动成功</a>
    </li>
    <li>
      <a href="#6Hbase">6.Hbase配置</a><ul>
        <li>
          <a href="#61_Hbase">6.1 部署Hbase包</a>
        </li>
        <li>
          <a href="#62">6.2 修改配置文件</a><ul>
            <li>
              <a href="#621_hbase-envsh">6.2.1 hbase-env.sh</a>
            </li>
            <li>
              <a href="#623_regionservers">6.2.3 regionservers</a>
            </li>
            <li>
              <a href="#624">6.2.4 分发配置到其他节点</a>
            </li>
          </ul>
        </li>
        
        <li>
          <a href="#63_hbase">6.3 启动hbase集群</a><ul>
            <li>
              <a href="#631_hbase">6.3.1 启动hbase</a>
            </li>
            <li>
              <a href="#632_hbase">6.3.2 启动hbase 客户端</a>
            </li>
          </ul>
        </li>
      </ul>
    </li>
    
    <li>
      <a href="#7">7. 参考文献</a>
    </li>
  </ul>
</li>