20210121大数据尚学堂课程笔记day1

@R星校长

内存的访问效率是硬盘的10万倍

Zoo 动物园 Keeper 管理者 因为 hadoop 大象 pig 小猪 都是他们开发的，再有一些这样的起名的软件，我们就成动物园了 ，所以我们这款产品就叫动物园管理员吧

如你有几千台服务器的集群，你就需要用 ZooKeeper 监控，看那台服务器宕机了

ElasticSearch 学起来很快，因为它是站在巨人 Lucene 的肩膀上

因为实时计算 Spark 的底层代码是用 Scala 写的，所以 Scala 也需要学习，配合 Spark 做实时计算

CDH 可视化安装，解决兼容问题，它提前给你兼容的对应关系，如Hadoop和hive的兼容版本，都有推荐

实时计算 最近几年比较火

Flink 也是做实时运算，是分布式的流数据引擎
我推荐这个，国内字节跳动和阿里都是主要用的 Flink ，想多了解一些东西可以去看看阿里技术 这个公众号

Kylin 麒麟能在亚秒内查询巨大的 Hive 表

安装在电脑上的叫应用程序，那什么叫做进程呢？

一个应用程序运行起来就叫做进程，我们用多线程来提高进程的运行效率

开发一般都在用户级别，比如，写一个shell脚本，调用函数库，然后操控内核，一般Linux内核里的东西，稍做了解就好，不会让我们去写

内核主要负责以下四种功能:

• 系统内存管理
• 软件程序管理
• 硬件设备管理
• 文件系统管理

磁盘分区：指定分割区域起始与结束磁柱
两个分区就是两个柱面，磁盘分区是告诉操作系统，磁盘在此分割区域内可以存取的区域，例如 A 磁柱到 B 磁柱之间的区块

使用磁盘之前为啥要格式化？

因为每种操作系统所设置的文件属性/权限，以及存放数据的格式 有所不同

windows 10默认的格式都是NTFS了 在window XP 和 windows 7 之间的时候还是用的FAT32

把不常用的进程清空，放进虚拟内存，也就是交换分区内
假如你的内存 8G 硬盘 2T 为了 遍历查找方便，所以存放到交换分区，比如设置交换分区为 8G ，范围越小越好找

现在的家用路由器都已经把交换机和路由器的功能整合在一起了

十进制转换成二进制，除以2看余数，然后倒着从下网上写，如10101000，就是168

与运算规则：0&0=0; 0&1=0; 1&0=0; 1&1=1;
即：两位同时为“1”，结果才为“1”，否则为0

或运算规则：0|0=0； 0|1=1； 1|0=1； 1|1=1；
即 ：参加运算的两个对象只要有一个为1，其值为1

异或运算规则：0^0=0； 0^1=1； 1^0=1； 1^1=0；
即：参加运算的两个对象，如果两个相应位为“异”（值不同），则该位结果为1，否则为0

子网掩码是用来计算网络位和主机位的

如果我们用 wifi 访问网络，网关就是路由器的ip地址，而我们现在要配的这个网关就是公网 ip


这是静态域名地址设置

restart 是重启，status是状态，start是开启，stop是关闭




shift+D 可以一键改值 按U是撤销

Hadoop-集群 网络配置

(一) 虚拟机设置
首先要修改一下虚拟机,<选择虚拟网络编辑器>

对照着上面的图一个一个解释吧. 首先要选择NAT模式,这里我选择的是VMnet8,也可以点击添加网络再添加一个;

然后就是下面的两个对勾✔一定要选上(DHCP)没有勾选可能会出现虚拟机可以ping通外面的主机,但是外面的主机ping不通虚拟机的现象。

子网IP要设置和虚拟机一个网段.

然后点击 NAT设置 ，设置网关，这里我设置的是192.168.100.1，图如下:

设置完这里再选择虚拟机,右键选择设置

选择网络适配器–>自定义–>VMnet8(根据自己的设置选择) 然后 确定

(二) test1 设置

之后就是打开虚拟机,设置 master 了

这里需要涉及到三个配置文件，分别是：

/etc/sysconfig/network
/etc/sysconfig/network-scripts/ifcfg-eth0
/etc/resolv.conf


首先修改 vi /etc/sysconfig/network 如下：

centos7里没有ifcfg-eth0只有 ifcfg-ens33(没有Eth0网卡)

CentOS7系统安装完毕之后，输入ifconfig命令发现没有eth0,不符合我们的习惯。而且也无法远程ssh连接，

这个问题解决起来还算简单：

一，永久搞定

1. 进入目录/etc/sysconfig/network-scripts/

2. 将文件ifcfg-ens33重命名为ifcfg-eth0;
   
   我因为是复制别人的虚拟机，所以在vmware虚拟机中，当我们克隆或者复制linux系统虚拟机后，再启动系统时会发现系统下不仅仅只有 ifcfg-ens33，还多了一个ifcfg-ens34

   同理如果系统本身是 ifcfg-eth0 ，就会往下将其命名为 ifcfg-eth1（累加的原则）
   　(注意：修改需要切换至root用户)

3. 编辑 ifcfg-eth0
   使用命令：vi ifcfg-eth0
   因为我要使用ssh远程登录，所以我需要固定 ip ，使用静态地址

这是我修改的地方
就把上面这写参数对应改一下和加上去，根据自己的网段改，BOOTPROTO一定要改为static。


4. 修改grub文件
   目录：/etc/default
   编辑grub文件
     使用命令：vi grub
   　 在GRUB_CMDLINE_LINUX原有的参数后面加上"net.ifnames=0 biosdevname=0"
   

保存退出


5. 命令行运行命令
     grub2-mkconfig -o /boot/grub2/grub.cfg

6. 完成了，重启一下就 ok 了，不过重启之前可以顺带修改一个计算机名
     编辑文件： vi /etc/hostname
   
   　就一行内容，就是计算机名，怎么写都行（英文的），保存退出

7. 重启计算机
     reboot

8.完成