半天搭建大数据伪分布式环境

============= 模拟处理大数据 ============

1.数据写入kafka
2.程序消费kafka消息存入hbase
3.hive关联hbase处理数据转存成表
4.sqoop脚本导出数据到mysql


linux:centos7
root/root
一台服务器就够了，3G+20G

配置静态IP地址

#vi /etc/sysconfig/network-scripts/ifcfg-ens32(最后一个为网卡名称)
（1）bootproto=static #dhcp动态
（2）Onboot=yes
（3）在最后加上几行，IP地址、子网掩码、网关、dns服务器
IPADDR=192.168.21.100
NETMASK=255.255.255.0
GATEWAY=192.168.21.2
DNS1=8.8.8.8
DNS2=114.114.114.114


重启网络服务

#systemctl restart network


测试网络

#ping www.baidu.com


安装文件编辑和传输工具

#yum install vim
#yum install lrzsz


配置环境变量

#vim ~/.bash_profile
全局：/etc/profile
export JAVA_HOME=/opt/jdk8
export PATH=$JAVA_HOME/bin:$PATH
export CLASSPATH=.:$JAVA_HOME/lib/dt.jar:$JAVA_HOME/lib/tools.jar #source ~/.bash_profile 命令，使配置生效。


配置域名映射

#vim /etc/hosts
192.168.229.100 master


==== Linux配置完成 ====
====下一章安装Hadoop ====