练习二 - 准备工作¶
参考资料¶
- 厦门大学林子雨老师 - Hadoop3.1.3安装教程_单机/伪分布式配置
- 厦门大学林子雨老师 - 大数据原理与应用 第四章 分布式数据库HBase 学习指南
- 厦门大学林子雨老师 - 在ECS实例的Ubuntu系统中安装HBase
- 厦门大学林子雨老师 - HBase2.2.2安装和编程实践指南
1 配置 Hadoop 的 PATH 环境变量¶
由于之前我们每次启动 Hadoop 命令时，都要写出详细文件位置，为了方便后续运行，我们将 Hadoop 写入用户环境变量。（后面对 Hbase 也是相同的操作）
修改配置文件
vim ~/.bashrc
配置 PATH 变量
export HADOOP_HOME=/home/Vivian/usr/local/hadoop
export HADOOP_COMMON_LIB_NATIVE_DIR=${HADOOP_HOME}/lib/native
export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin
配置生效
source ~/.bashrc
2 安装并配置 Hbase2.2.2¶
2.1 上传所需安装包¶
2.2 安装 Hbase2.2.2¶
解压安装 Hbase2.2.2
tar -zxf ~/Downloads/hbase-2.2.2-bin.tar.gz -C ~/usr/local
重命名文件夹
cd ~/usr/local
mv ./hbase-2.2.2 ./hbase
2.3 配置环境变量¶
修改配置文件
vim ~/.bashrc
配置 PATH 变量
export PATH=$PATH:${JAVA_HOME}/bin:${HADOOP_HOME}/bin:${HADOOP_HOME}/sbin:/home/Vivian/usr/local/hbase/bin
配置生效
source ~/.bashrc
2.4 检查安装情况¶
hbase version
3 HBase 伪分布式模式配置¶
- HBase 有三种运行模式：① 单机模式；② 伪分布式模式；③ 分布式模式
- 伪分布式模式和分布式模式都需要基于 Hadoop 才能运行
- 三种运行方式不能同时存在，只能选择其一，这里我们常用的是 伪分布式
3.1 配置 hbase-env.sh¶
打开并编辑
hbase-env.sh
vim ~/usr/local/hbase/conf/hbase-env.sh
添加内容
在文件的顶部添加下面的内容，这里尤其注意第二行，有教程中所写的路径不同，hadoop3.1.3 的配置文件在 etc/hadoop/目录下，而不是教程中的 conf/ 目录。
export JAVA_HOME=/home/Vivian/usr/lib/jvm/jdk1.8.0_162
export HBASE_CLASSPATH=/home/Vivian/usr/local/hadoop/etc/hadoop/
export HBASE_MANAGES_ZK=true
3.2 配置 hbase-site.xml¶
打开并编辑
hbase-site.xml
vim ~/usr/local/hbase/conf/hbase-site.xml
hbase-site.xml配置内容
<configuration>
<property>
<name>hbase.rootdir</name>
<value>hdfs://localhost:9010/hbase</value>
</property>
<property>
<name>hbase.cluster.distributed</name>
<value>true</value>
</property>
<property>
<name>hbase.unsafe.stream.capability.enforce</name>
<value>false</value>
</property>
</configuration>
3.3 启动 HBase¶
！！！注：集群、单节点模式都需要用到 SSH 登陆，且由于 HBase 的伪分布式是基于 Hadoop 的，所以每次都要注意。
- 启动关闭 Hadoop 和 HBase 的顺序一定是： 登录 SSH → 启动 Hadoop → 启动 HBase → 关闭 HBase → 关闭 Hadoop → 退出 SSH
SSH 登录
ssh localhost
启动 Hadoop
start-dfs.sh
启动 HBase
start-hbase.sh
查看当前 Java 进程
jps
3.4 进入 shell 界面¶
在已经成功启动 HBase 后，可以进入 shell 命令行开始进行操作。
打开 shell 命令行模式
hbase shell
如需退出
exit
3.5 利用 Web 界面管理 HDFS 和 HBase¶
HDFS 的 Web 界面
http://服务器IP:9870
HBase 的 Web 界面
http://服务器IP:16010/
3.6 关闭 HBase¶
！！！注：再次强调，启动关闭 Hadoop 和 HBase 的顺序一定是：
- 登录 SSH → 启动 Hadoop → 启动 HBase → 关闭 HBase → 关闭 Hadoop → 退出 SSH
停止 HBase
stop-hbase.sh
停止 Hadoop
stop-dfs.sh
4 利用 Java API 进行交互¶
4.1 在 Ubuntu 中安装 Eclipse¶
将 Eclipse 安装给系统用户
sudo tar -zxvf ~/Downloads/eclipse-4.7.0-linux.gtk.x86_64.tar.gz -C /usr/local
启动 Eclipse
cd /usr/local/eclipse
./eclipse
4.2 手动创建 Eclipse 图标¶
Eclipse 安装后可能会没有图标，所以需要我们自己手动创建，具体命令如下：
进入图标存放目录
cd /usr/share/applications/
用文本编辑器打开 eclipse 的图标文件,没有会自动创建
sudo gedit eclipse.desktop
复制下面的文本粘贴进去
[Desktop Entry]
Name=eclipse
Type=Application
Exec=/usr/local/eclipse/eclipse
Icon=/usr/local/eclipse/icon.xpm
Exec=：后面改为 eclipes 的安装路径Icon=：后面改成 eclipes 图标的路径
最后保存就好了，再去启动器看会发现图标出来了。
5 问题及其解决方法¶
5.1 问题一¶
5.1.1 问题描述¶
在每次运行 Hadoop 时，都会出现如下报错信息，但是却不影响使用。
WARN util.NativeCodeLoader: Unable to load native-hadoop library for your platform... using builtin-java classes where applicable
5.1.2 参考文章¶
5.1.3 解决步骤¶
编辑当前用户环境变量
vim ~/.bashrc
插入如下内容
export JAVA_LIBRARY_PATH=/home/Vivian/usr/local/hadoop/lib/native
注：这里的路径就是之前 Hadoop 安装的路径。
生效用户变量
source ~/.bashrc
关闭 Hadoop
stop-dfs.sh
这里我们关闭 Hadoop 来测试是否仍有警告，截图如下，此时可以看到，已经没有警告信息了。
5.2 问题二¶
5.2.1 问题描述¶
在每次运行 HBase 时，都会出现如下报错信息，但是却不影响使用。
line 2360: HADOOP_ORG.APACHE.HADOOP.HBASE.UTIL.GETJAVAPROPERTY_USER：invalid variable name
5.2.2 参考文章¶
5.2.3 解决方案¶
编辑 HBase 环境文件
vim ~/usr/local/hbase/conf/hbase-env.sh
将最后一行取消注释
关闭 HBase
stop-hbase.sh
重新启动 HBase
start-hbase.sh
这里我们重启 HBase 来测试是否仍有警告，截图如下，此时可以看到，已经没有警告信息了。
创建日期: 2022-12-27
作者: