流式大数据计算实践（1）Hadoop单机模式

一、前言

1、从今天开始进行流式大数据计算的实践之路&＃xff0c;需要完成一个车辆实时热力图

2、技术选型&＃xff1a;HBase作为数据仓库&＃xff0c;Storm作为流式计算框架&＃xff0c;ECharts作为热力图的展示

3、计划使用两台虚拟机来打一个小型的分布式系统&＃xff0c;使用Ubuntu系统

二、HBase简介

1、HBase是基于HDFS&＃xff08;Hadoop分布式文件系统&＃xff09;的NoSQL数据库&＃xff0c;采用k-v的存储方式&＃xff0c;所以查询速度相对比较快。

2、下面画图比较HBase与传统的RDS&＃xff08;关系型数据库&＃xff09;数据库的区别

&＃xff08;1&＃xff09;RDS&＃xff0c;经常用的比如MySQL、SQLServer等数据库&＃xff0c;通过指定第几行第几列就可以唯一确定找到数据

&＃xff08;2&＃xff09;HBase

①首先需要指定row key&＃xff08;行键&＃xff09;来找到某一行&＃xff0c;row key是一个可以由用户指定的字符串&＃xff0c;保证其唯一&＃xff0c;排序则是按照字典顺序

②指定column family&＃xff08;列族&＃xff09;找到某个列族&＃xff0c;在设计时&＃xff0c;官方建议列族设置的越少越好&＃xff08;保证查询速度&＃xff0c;并且不容易出bug&＃xff09;

③指定colume&＃xff08;列名&＃xff09;找到某一列&＃xff0c;一个列族会有多个列

④指定version来找到cell&＃xff08;单元格&＃xff0c;单元格内存放着具体的数据&＃xff09;&＃xff0c;单元格的目的是为每一列设置多个版本&＃xff0c;可以用时间戳代替

综上可以看出&＃xff0c;当需要查询一个数据时的表达式应是------&＃xff08;行键&＃xff1a;列族&＃xff1a;列&＃xff1a;版本号&＃xff09;&＃xff0c;才能唯一确定一个值&＃xff0c;当然版本号可以省略&＃xff0c;当省略时&＃xff0c;默认取最后一个版本的值返回

三、环境搭建

1、首先准备两台Ubuntu虚拟机&＃xff0c;我使用的是VirtualBox虚拟机&＃xff0c;Ubuntu系统为16.04 x64&＃xff0c;并保证其在同一局域网

2、我直接用su切换到root下&＃xff0c;方便使用&＃xff0c;但要注意不要输错命令

3、安装ssh&＃xff0c;用xshell登录方便使用

4、集群中机器访问使用主机名访问&＃xff0c;所以修改主机名&＃xff0c;一台为storm1&＃xff0c;一台为storm2&＃xff0c;修改完成后需要重启机器生效

5、配置hosts文件&＃xff0c;保证集群内的机器可以通过主机名找到其他机器

6、配置SSH免密登录&＃xff0c;具体配置参见教程&＃xff0c;确保两台机可以互相ssh登录对方

7、安装JDK

&＃xff08;1&＃xff09;下载jdk的tar.gz包&＃xff0c;然后解压

&＃xff08;2&＃xff09;配置环境变量

8、安装Hadoop

&＃xff08;1&＃xff09;搭建单机模式

&＃xff08;2&＃xff09;下载hadoop的tar.gz包&＃xff0c;然后解压

&＃xff08;3&＃xff09;配置环境变量&＃xff08;注意默认的JAVA_HOME会报错&＃xff0c;所以要改路径&＃xff09;

&＃xff08;3&＃xff09;配置hadoop-env.sh&＃xff08;设置jvm的使用内存和日志文件夹&＃xff09;&＃xff0c;要记得创建好日志文件夹

&＃xff08;4&＃xff09;配置core-site.xml&＃xff08;配置Hadoop的Web属性 &＃xff09;

&＃xff08;5&＃xff09;配置hdfs-site.xml&＃xff08;要记得创建好对应的文件夹&＃xff0c;所有的节点的配置文件都是一样设置&＃xff09;

①设置hdfs的数据备份数量
②设置namenode节点存储文件的位置
③设置datanode节点存储文件的位置

&＃xff08;6&＃xff09;格式化namenode

&＃xff08;7&＃xff09;启动单机模式

&＃xff08;8&＃xff09;访问hadoop的控制台http://192.168.3.77:50070/

&＃xff08;9&＃xff09;停止单机版集群