iServer集成HBase操作说明

       HBase是一款建立在Hadoop文件系统之上的开源的分布式面向列的数据库&＃xff0c;采用横向扩展架构。HBase是一个数据模型&＃xff0c;类似于谷歌的大表设计&＃xff0c;可以提供快速随机访问海量结构化数据&＃xff0c;并利用了Hadoop的文件系统&＃xff08;HDFS&＃xff09;提供的容错能力。HBase作为Hadoop文件系统的一部分&＃xff0c;提供了对数据的随机实时读/写访问。人们可以通过HBase对大数据进行随机&＃xff0c;实时读/写访问。
       本文将带领您搭建一个HBase集群系统&＃xff0c;并将已搭建好的HBase集群注册到iServer中。

1.1.配置设备

准备3台虚拟机&＃xff0c;安装ubuntu-15.10操作系统&＃xff0c;一台作为集群的主节点&＃xff08;master&＃xff09;&＃xff0c;其余两台作为工作节点&＃xff08;worker&＃xff09;&＃xff0c;本例使用的三台设备的IP分别为&＃xff1a;
       master:192.168.13.105
       worker1:192.168.13.52
       worker2:192.168.13.199
依照上述内容在三台虚拟机上分别配置hosts&＃xff1a;
       192.168.13.105 master
       192.168.13.52 worker1
       192.168.13.199 worker2

1.2.安装JDK

在每台设备中安装JDK&＃xff0c;下载地址为https://www.oracle.com/technetwork/java/javase/downloads/index.html。本文将带领您安装jdk-8u111-linux-x64.tar.gz&＃xff0c;步骤如下&＃xff1a;

1. 解压tar -zxvf jdk-8u111-linux-x64.tar.gz
2. 移动到指定目录&＃xff08;可选&＃xff09;&＃xff1a;
   mkdir /usr/lib/jdk
   mv jdk1.8.0_111 /usr/lib/jdk/jdk1.8
3. 设置环境变量&＃xff1a;
   方法一&＃xff1a;修改全局配置文件&＃xff0c;可作用于所有用户&＃xff0c;输入如下命令打开全局配置文件&＃xff1a;
   vi /etc/profile
   输入以下内容&＃xff1a;
   export JAVA_HOME&＃61;/usr/lib/jdk/jdk1.8
   export CLASSPATH&＃61;.: $ {JAVA_HOME}/lib:${JRE_HOME}/lib
   export PATH&＃61;.: $ {JAVA_HOME}/bin:$PATH
   方法二&＃xff1a;修改当前用户配置文件&＃xff0c;只作用于当前用户&＃xff0c;输入如下命令开始编辑&＃xff1a;
   vi ~/.bashrc
   输入的内容同上。
4. 使修改的配置立刻生效&＃xff1a;
   source /etc/profile
   或
   source ~/.bashrc
5. 输入版本查看命令&＃xff0c;即可检查是否安装成功&＃xff1a;
   java -version

1.3.配置SSH及免密码登陆

1. 在etc/hostname中配置各节点自己的hostname&＃xff0c;并将各节点的IP和hostname添加到各节点的etc/hosts文件中。
2. 配置免密登录
   分别在master和worker上执行&＃xff1a;
   ssh-keygen -t rsa -P
   其中&＃xff0c;-P表示密码&＃xff0c;选填&＃xff0c;默认需要三次回车。
   执行完命令后&＃xff0c;在/home/hdfs/.ssh目录下生成如下两个文件&＃xff1a;
   id_rsa&＃xff1a;私钥文件
   id_rsa.pub&＃xff1a;公钥文件
   分别在master和worker上执行以下命令
   ssh-copy-id -i /home/hdfs/.ssh/id_rsa.pub [ip] (自己的ip)
   其中&＃xff0c;当在master节点上还需执行
   ssh-copy-id -i /home/hdfs/.ssh/id_rsa.pub ip(worker的ip)
   在master和worker上执行如下命令&＃xff0c;验证配置是否成功&＃xff1a;
   ssh worker/master

1.4.安装Hadoop

1. 在master节点中安装Hadoop。获取Hadoop的地址&＃xff1a;http://archive.apache.org/dist/hadoop/core/ 解压。本文将Hadoop解压至/home/Hbase/hadoop-2.7.3&＃xff0c;接下来用./代替根目录&＃xff0c;您可根据实际情况进行调整。

2. 在hadoop-2.7.3文件夹里面新建4个文件夹&＃xff0c;分别为&＃xff1a;
   ./nfs
   ./tmp
   ./nfs/name
   ./nfs/data

3. 配置 hadoop
   先进入配置文件的路径&＃xff0c;例如&＃xff1a;./etc/hadoop
   输入ls命令查看该路径下的文件列表
   
   红框中的文件是需要配置的文件。
   a) 首先配置core-site.xml文件。输入如下命令开始编辑&＃xff1a;
   vi core-site.xml
   编辑内容如图&＃xff1a;
   
   注意&＃xff1a;hadoop.tmp.dir属性中的value和步骤1中创建的./tmp路径要一致。
   b) 配置 hadoop-env.sh文件&＃xff0c;输入如下命令开始编辑&＃xff1a;
   vi hadoop-env .sh
   
   将JAVA_HOME文件配置为本机JAVA_HOME路径
   c) 配置 yarn-env .sh&＃xff0c;输入如下命令开始编辑&＃xff1a;
   vi yarn-env .sh
   
   将其中的JAVA_HOME修改为本机JAVA_HOME路径(先把这一行的#去掉)
   d) 配置hdfs-site.xml&＃xff0c;输入如下命令开始编辑&＃xff1a;
   vi hdfs-site.xml
   在configuration标签中加入以下代码
   
   注意&＃xff1a;其中dfs.namenode.name.dir和dfs.datanode.data.dir的value和步骤1创建的./nfs/name和./nfs/data需一致&＃xff1b;因为这里只有两个子节点&＃xff0c;所以dfs.replication设置为2

4. 复制mapred-site.xml.template文件&＃xff0c;并命名为mapred-site.xml&＃xff1a;
   cp mapred-site.xml.template mapred-site.xml

5. 编辑mapred-site.xml&＃xff1a;
   vi mapred-site.xml
   在标签configuration标签中添加以下代码
   

6. 配置yarn-site.xml&＃xff1a;
   vi yarn-site.xml
   在configuration标签中添加以下代码
   

7. 配置slaves文件&＃xff1a;
   vi slaves
   
   把原本的localhost删掉&＃xff0c;改为两个子节点的主机名

8. 配置masters文件&＃xff1a;
   vi masters
   
   改为主节点的主机名

9. 配置hadoop的环境变量&＃xff0c;同JDK类似。首先编辑配置文件&＃xff1a;
   vi /etc/profile
   
   键入命令 source /etc/profile 使配置立即生效

10. 接下来&＃xff0c;将hadoop传到worker1和worker2节点中的相同目录中&＃xff1a;
    scp -r hadoop-2.7.3 root&＃64;worker1: /home/hbase/hadoop-2.7.3
    scp -r hadoop-2.7.3 root&＃64;worker1: /home/hbase/ hadoop-2.7.3
    注意&＃xff1a;root是虚拟机的用户名&＃xff0c;创建worker1和worker2时设定的
    传过去后&＃xff0c;在worker1和worker2上面同样对hadoop进行路径配置&＃xff0c;和步骤10一样

11. 初始化hadoop
    [root&＃64;master bin]$ ./hadoop namenode –format

12. 开启hadoop
    [root&＃64;master sbin]$ ./start-dfs.sh
    [root&＃64;master sbin]$ ./start-yarn.sh

13. 验证集群是否搭建成功
    在mater上面键入jps后&＃xff0c;显示如下&＃xff1a;
    
    在worker1和worker2节点中键入jps后&＃xff0c;显示如下&＃xff1a;
    
    则说明集群搭建成功。
    最后&＃xff0c;通过访问主节点的IP&＃xff1a;http://192.168.13.105:50070&＃xff0c;出现以下界面&＃xff0c;hadoop集群搭建成功&＃xff1a;
    

14. 创建HBase目录
    在hadoop集群下新建/hbase目录&＃xff08;用于Hbase集群创建&＃xff09;
    hadoop fs –mkdir /hbase
    通过点击Browse the file system查看
    
    如果不能创建&＃xff0c;报连接失败&＃xff0c;请仔细检查./conf/hdfs-site.xml和/etc/hosts文件是否有配置多余的连接路径。

1.5.安装zookeeper

ZooKeeper是一个为分布式应用提供一致性服务的软件&＃xff0c;是Hadoop和Hbase的重要组件。其架构图如下&＃xff1a;

其中&＃xff0c;follower负责响应读请求&＃xff0c;leader负责提交写请求
Zookeeper安装步骤如下&＃xff1a;

1. 下载zookeeper并解压&＃xff0c;本文解压目录&＃xff1a;/home/hbase
   tar -zxvf zookeeper-3.4.10.tar.gz
   增加文件权限&＃xff1a;
   chmod &＃43;wxr zookeeper-3.4.10

2. 修改zookeeper的配置文件&＃xff0c;并建立数据目录和日志目录&＃xff08;根目录&＃xff1a;/home/hbase&＃xff09;
   cd zookeeper-3.4.10
   mkdir data
   mkdir logs
   注意&＃xff1a;在./ zookeeper-3.4.10/conf/目录下将zoo_sample.cfg重命名为zoo.cfg&＃xff08;只能存在一个&＃xff09;
   a) 编辑重命名后的zoo.cfg文件
   vi conf/zoo.cfg
   编辑内容如下&＃xff1a;
   
   b) 进入data目录&＃xff0c;编辑myid
   cd data
   vi myid
   
   与zoo.cfg文件保持一致&＃xff08;server.1&＃xff09;

3. 复制master的zookeeper-3.4.10到worker1和worker2上&＃xff1a;
   scp -r zookeeper-3.4.10 root&＃64;worker1:/home/hbase/zookeeper-3.4.10
   scp -r zookeeper-3.4.10 root&＃64;worker2:/home/hbase/zookeeper-3.4.10

4. 分别修改worker1和worker2上myid的值为2和3
   vi myid

5. 分别启动master、worker1和worker2上的zookeeper
   [root&＃64;master zookeeper-3.4.10]$ bin/zkServer.sh start
   [root&＃64;worker1 zookeeper-3.4.10]$ bin/zkServer.sh start
   [root&＃64;worker2 zookeeper-3.4.10]$ bin/zkServer.sh start

6. 查看zookeeper的状态
   

7. 验证zookeeper集群
   [root&＃64;master zookeeper-3.4.10]$ bin/zkCli.sh -server c7003:2181
   当出现Welcome to ZooKeeper! 时&＃xff0c;则表示zookeeper集群安装完毕&＃xff01;
   其他注意事项&＃xff1a;
   文件权限保持一致
   关闭防火墙
   小心2181默认端口被占用问题
   zookeeper.out日志文件位置&＃xff1a;安装路径根目录下
   重启服务之前清空./data目录下除myid外的其他文件

1.6.安装HBase

1. 解压缩hbase的软件包&＃xff0c;本文解压目录为&＃xff1a;/home/hbase&＃xff0c;使用命令&＃xff1a;
   tar -zxvf hbase-1.3.0-bin.tar.gz
2. 配置环境变量
   vi /etc/profile
   输入如下内容&＃xff1a;
   
   输入命令source /etc/profile&＃xff0c;使之立即生效
3. 进入hbase的配置目录&＃xff0c;修改hbase-env.sh文件&＃xff08;路径&＃xff1a;./hbase-1.3.1/conf&＃xff09;
   
   在./hbase-1.3.1下新建pids目录
4. 编辑hbase-site.xml &＃xff0c;添加配置文件&＃xff1a;
   vi hbase-site.xml
   
   其中&＃xff1a;
   hbase.rootdir的value对应在hadoop集群创建的/hbase目录
   hbase.zookeeper.quorum的value对应zookeeper集群的三个节点ip/主机名
   hbase.zookeeper.property.dataDir的value对应zookeeper根目录下data目录&＃xff08;5小节步骤2&＃xff09;
5. 编辑配置目录下面的文件regionservers. 命令&＃xff1a;
   vi regionservers
   删除localhost&＃xff0c;加入如下内容&＃xff1a;
   worker1
   worker2
6. 把HBase复制到其他机器&＃xff0c;命令如下&＃xff1a;&＃xff08;在/home/hbase目录下&＃xff09;
   scp -r hbase-1.3.1 root&＃64;worker1:/home/hbase/ hbase-1.3.1
   scp -r hbase-1.3.1 root&＃64;worker2:/home/hbase/ hbase-1.3.1
7. 在master机器开启hbase服务。命令如下&＃xff1a;
   [root&＃64;master hbase-1.3.1]$ bin/start-hbase.sh
   在master、worker1、worker2中的任意一台机器使用bin/hbase shell 进入hbase自带的shell环境&＃xff0c;然后使用命令version等&＃xff0c;进行查看hbase信息及建立表等操作。
   通过访问http://192.168.13.105:16010&＃xff0c;出现以下界面&＃xff0c;HBase集群搭建成功&＃xff1a;
   

1. 配置iServer所在机器的hosts文件&＃xff0c;添加HBase集群主机的ip和端口&＃xff0c;本例为&＃xff1a;
   192.168.13.105 master
   192.168.13.52 worker1
   192.168.13.199 worker2

2. 下载geomesa-hbase-distributed-runtime_2.11-2.0.2.jar&＃xff0c;并部署到HBase集群安装目录./lib下&＃xff0c;重启HBase集群&＃xff0c;下载地址&＃xff1a;
   https://mvnrepository.com/artifact/org.locationtech.geomesa/geomesa-hbase-distributed-runtime_2.11/2.0.2

3. 解压iServer包&＃xff0c;注册HBase数据库且所注册的hbase数据库允许编辑。注册成功后如下图所示&＃xff1a;
   

4. 将数据导入到hbase中。首先&＃xff0c;需要配置分布式分析&＃xff08;配置步骤参考https://blog.csdn.net/supermapsupport/article/details/81740689&＃xff09;&＃xff0c;使用数据拷贝功能&＃xff0c;将数据导入到HBase中。导入成功后如下图所示&＃xff1a;
   
   同时导入成功后&＃xff0c;可在数据目录服务的数据集列表中查看导入的数据集信息
   

5. 发布hbase中的数据为iServer 服务。选择快速发布->HBase服务->填写服务地址、数据库地址->下一步->选择要发布的服务
   

6. 如果发布hbase中的数据为地图服务&＃xff0c;则还需配置地图style
   
   a) iServer提供了默认的style.json文件。内置的风格文件为【iServer安装目录】/webapps/iserver/WEB-INF/config/mapboxstyles/defaultstyle.json文件。
   b) 您可以指定自定义的style.json文件。当前可以通过桌面生成相应的style文件。具体如下&＃xff1a;在iDesktop打开工作空间&＃xff0c;点击地图&＃xff0c;选择需要配置style的图层&＃xff0c;右键“生成地图瓦片&＃xff08;单任务&＃xff09;”&＃xff0c;选择合适的地图比例尺&＃xff0c;瓦片类型选择“矢量瓦片”&＃xff0c;选择存储路径&＃xff08;本例F:\wangyd\data\2015su\&＃xff09;&＃xff0c;点击确定。完成后&＃xff0c;在存储路径./styles下找到style.json文件