传统数据库
上篇文章:聊聊数据库~开篇 https://www.cnblogs.com/dotnetcrazy/p/9690466.html
本来准备直接开讲NoSQL的(当时开篇就是说的NoSQL)考虑到有些同志可能连MySQL系都没接触过,所以我们2019说数据系的时候预计从MySQL
(穿插MSSQL
)开始,这篇文章就当试水篇,效果好就继续往下写~(这篇偏理论和运维)
1.1.MariaDB and MySQL
官方文档:https://mariadb.com/kb/zh-cn/mariadb
目前主流:MySQL 5.7
or MariaDB 5.5.x
(推荐)
多一句嘴,MySQL
当年被Oracle
收购后,MySQL之父
觉得靠Oracle
维护MySQL
很不靠谱,然后就跳槽弄了个MariaDB
(很多Oracle
竞争对手扶持着),目前MariaDB
是发展最快的MySQL
分支版本(PS:MySQL
现在是双协议了&#xff0c;大部分公司用的版本都是<&#61;5.7
&#xff09;
然后得说下迁移问题&#xff1a;MySQL 5.x
到 MariaDB 5.x
基本上是无缝的&#xff0c;MariaDB最新稳定版为&#xff1a;MariaDB 5.5
PS&#xff1a;MariaDB有两个分支&#xff0c;而10.x分支是不兼容MySQL的
MariaDB
与MySQL
兼容性可以查看&#xff1a;
https://mariadb.com/kb/zh-cn/mariadb-vs-mysql-compatibility/
PS&#xff1a;国内比较火的还有阿里的MySQL分支
&#xff1a;https://github.com/alibaba/AliSQL
不谈其他的&#xff0c;咱们看看它们开发的积极程度就知道为什么MariaDB
是主流了
使用概括&#xff08;推荐&#xff09;
如果想要使用MariaDB10.x
的同志可以考虑MySQL8.x
&#xff08;社区完善&#xff09;
如果想要使用MySQL5.x
的同志可以考虑MariaDB5.5.x
&#xff08;高性能且兼容&#xff09;
1.2.MariaDB部署
网络配置如果不会可以看我以前写的文章&#xff1a;https://www.cnblogs.com/dunitian/p/6658578.html
1.环境配置和初始化
安装很简单&#xff0c;以CentOS
为例&#xff1a;
systemctl start mariadb.service # 启动MariaDB
systemctl enable mariadb.service # 设置开机启动systemctl stop mariadb.service # 停止MariaDB
systemctl restart mariadb.service # 重启MariaDB
PS&#xff1a;Win安装注意这一步&#xff1a;
执行文件简单说明&#xff1a;有时候我们 ps aux | grep mysql
的时候&#xff0c;发现运行的并不是/usr/bin/
下的mysqld
而是mysqld_safe
&#xff0c;那这个mysqld_safe
是啥呢&#xff1f;&#61;&#61;> 线程安全的实例
MariaDB
的程序组成&#xff1a;ls /usr/bin | grep mysql
- Client&#xff1a;
mysql
命令行客户端mysqldump
数据库备份用mysqladmin
远程管理工具mysqlbinlog
二进制日志管理工具- ...
- Server&#xff1a;
mysqld_safe
线程安全的实例mysqld_multi
多实例mysqld
mysql_secure_installation
安全初始化工具(记得先启动数据库哦)- ...
mysql
的账号由两部分组成&#xff1a;username
&#64;host
&#xff0c;MySQL客户端连接参数&#xff1a;
-u用户名
&#xff1a;--user
&#xff0c;默认为root
-h服务器主机
&#xff1a;--host
&#xff0c;默认为localhost
host
用于限制用户可以通过哪些主机连接- 支持通配符&#xff1a;
%
匹配任意长度的任意字符&#xff1a;172.16.0.0/16 &#61;&#61;> 172.16.%.%_
匹配任意单个字符
-p密码
&#xff1a;--password
&#xff0c;默认为空
- 安装完成后运行
mysql_secure_installation
来设置密码并初始化
- 安装完成后运行
- other&#xff1a;
-P
&#xff1a;--port
&#xff0c;指定端口-D
&#xff1a;--database
&#xff0c;指定数据库-C
&#xff1a;--compress
&#xff0c;连接数据库的时候对传输的数据压缩-S
&#xff1a;--socket
&#xff0c;指定socket文件
- MySQL专用&#xff1a;-e "SQL语句"&#xff0c;直接执行SQL语句
- mysql -e "show databases"&#xff08;脚本直接运行&#xff09;
很多人安装完成后是这样设置密码的&#xff1a;(不推荐)
正确打开方式&#xff1a;mysql_secure_installation
如果允许root远程登录&#xff1a;Disallow root login remotely? [Y/n] n
安全初始化后登录图示&#xff1a;
2.配置文件
以MariaDB 5.5.60
为例&#xff1a;
- Linux&#xff1a;配置文件查找顺序(找不到就往下继续)
/etc/my.cnf
-->/etc/mysql/conf.d/*.cnf
-->~/.my.cnf
- Windows&#xff1a;
MariaDB安装目录/data/my.ini
PS&#xff1a;一般配置文件都会设置这3个
[mysqld]
# 独立表空间: 每一个表都有一个.frm表描述文件&#xff0c;还有一个.ibd文件
innodb_file_per_table&#61;on
# 不对连接进行DNS解析(省时)
skip_name_resolve&#61;on
# 配置sql_mode
sql_mode&#61;&#39;strict_trans_tables&#39;# 指定数据库文件存放路径
# datadir&#61;/mysql/data
# socket&#61;/mysql/data/mysql.sock # 与之对应
其他配置MariaDB
提供了样本&#xff1a;
[dnt&#64;localhost ~] ls /usr/share/mysql/ | grep .cnf
my-huge.cnf # 超大内存配置参考
my-innodb-heavy-4G.cnf # 4G内存配置参考
my-large.cnf # 大内存配置
my-medium.cnf # 中等内存配置
my-small.cnf # 小内存配置
PS&#xff1a;thread_concurrency
&#61;CPU数*2
最佳&#xff0c;修改配置后记得重启数据库
3.远程访问
1.之前安全初始化的时候把root
禁止远程登录了&#xff0c;现在我们创建一个其他用户
2.给用户权限
3.防火墙放行指定端口
4.远程客户端测试一下
Code如下&#xff1a;
# root账户登录
mysql -uroot -p# 新增用户
insert into mysql.user(user,host,password) values("用户名","%",password("密码"));# 刷新设置
flush privileges;# 分配权限
grant all privileges on 数据库.* to 用户名&#64;"%" identified by "密码";# 刷新设置
flush privileges;# 显示服务状态
systemctl status firewalld# 添加 --permanent永久生效(没有此参数重启后失效)
firewall-cmd --zone&#61;public --add-port&#61;3306/tcp --permanent# 重新载入
firewall-cmd --reload# 查看
firewall-cmd --zone&#61; public --query-port&#61;3306/tcp
# 删除
firewall-cmd --zone&#61; public --remove-port&#61;3306/tcp --permanent
SQLServer远程连接&#xff1a;https://www.cnblogs.com/dunitian/p/5474501.html
扩展&#xff1a;为用户添加新数据库的权限
PS&#xff1a;先使用root创建数据库&#xff0c;然后再授权grant all privileges on 数据库.* to 用户名&#64;"%" identified by "密码";
并刷新flush privileges;
查看权限&#xff1a;show grants for dnt;
效果&#xff1a;
1.3.MySQL部署
之前有园友说&#xff0c;为啥不顺便说说UbuntuServer
的部署呢&#xff1f;呃。。。一般来说公司服务器都是CentOS
的占大多数&#xff0c;然后UbuntuServer
更多的是个人云服务比较多&#xff08;推荐初创公司使用&#xff09;&#xff0c;毕竟它们两个系统追求的不太一样&#xff0c;一个是追求稳&#xff08;部署麻烦&#xff09;&#xff0c;一个是追求软件尽量新的情况下稳定&#xff08;更新太快&#xff09;
那么长话短说&#xff0c;步入正轨&#xff1a;
1.Ubuntu最常见的包问题
Ubuntu不得不说的就是这个apt
出问题的处理 &#xff1a;&#xff08;换源就不说了/etc/apt/sources.list
&#xff09;
# 一般删除这几个锁文件&#xff0c;然后再重新配置下就可以了
sudo rm /var/lib/dpkg/lock
sudo rm /var/lib/dpkg/lock-frontend
sudo rm /var/lib/apt/lists/lock
sudo rm /var/cache/apt/archives/lock
# 简写&#xff08;千万注意空格&#xff0c;不然你就是rm -rf / &#43; 跑路了&#xff09;
# sudo rm /var/lib/apt/lists/lock /var/cache/apt/archives/lock /var/lib/dpkg/lock /var/lib/dpkg/lock-frontend# 重新配置下
sudo dpkg --configure -a
2.安装注意&#xff08;Ubuntu的特点就是使用起来简单&#xff09;
Ubuntu
推荐使用MySQL
&#xff08;毕竟同是5.x
用起来基本上差不多&#xff0c;安装过程和之前说的CentOS 下 MariaDB
差不多&#xff0c;所有命令前加个sudo
&#xff09;
1.安装比较简单&#xff1a;sudo apt install mysql-server -y
2.允许远程连接&#xff1a;注释掉 bind-address&#61;127.0.0.1
(/etc/mysql/mysql.conf.d/mysqld.cnf
)
PS&#xff1a;常用配置&#xff08;/etc/mysql/mysql.conf.d/mysqld.cnf
&#xff09;
3.关于为什么是这个路径的说明&#xff1a;sudo vi /etc/mysql/mysql.conf.d/mysqld.cnf
4.所有配置修改都需要重新启动下&#xff1a;sudo systemctl restart mysql
5.第一次初始化和MariaDB不太一样&#xff1a;sudo mysql_secure_installation
&#xff08;其他一路y
即可&#xff09;
需要选下你设置root密码的复杂度&#xff1a;&#xff08;一般1就可以了&#xff0c;就算设置再复杂&#xff0c;入了系统也是虚的&#xff09;
PS&#xff1a;可以看看拓展文章&#xff1a;Ubuntu16安装mysql5.7未提示输入密码&#xff0c;安装后修改mysql默认密码 和 【不推荐】修改mysql密码策略
6.然后输入密码你就可以登录了sudo mysql -uroot -p
&#xff08;PS&#xff1a;你直接sudo mysql
也可以直接登录&#xff09;
这边我就不像上节课一步步演示了&#xff0c;直接授权和创建一步走了grant all privileges on 数据库.* to "用户名"&#64;"%" identified by "复杂密码";
7.记得flush privileges;
刷新一下系统表
课后拓展&#xff1a;
MySQL5.7.26 忘记Root密码小计&#xff1a;https://www.cnblogs.com/dotnetcrazy/p/11027732.html
浅析MySQL 8忘记密码处理方式
https://www.cnblogs.com/wangjiming/p/10363357.htmlMySQL5.6更改datadir数据存储目录
https://www.cnblogs.com/ding2016/p/7644675.html
扩展&#xff1a;CentOS7安装MySQL8
CentOS7安装MySQL8.0安装小计&#xff1a;https://mp.weixin.qq.com/s/Su3Ivuy5IMeAwYBXaka0ag
MySQL军规&#xff08;58&#xff09;
文章结尾贴一节58
的MySQL
军规&#xff1a;&#xff08;适用于并发量大&#xff0c;数据量大的典型互联网业务&#xff09;
1.基础规范
- 表存储引擎必须使用
InnoDB
- 表字符集默认使用
utf8
&#xff0c;必要时候使用utf8mb4
utf8
通用&#xff0c;无乱码风险&#xff0c;汉字3字节&#xff0c;英文1字节utf8mb4
是utf8的超集
&#xff0c;存储4字节时使用&#xff08;eg&#xff1a;表情符号&#xff09;
- 禁止使用存储过程&#xff0c;视图&#xff0c;触发器&#xff0c;Event
- 调试&#xff0c;排错&#xff0c;迁移都比较困难&#xff0c;扩展性较差
- 对数据库性能影响较大&#xff0c;互联网业务&#xff0c;能让站点层和服务层干的事情&#xff0c;不要交到数据库层
- 禁止在数据库中存储大文件&#xff08;eg&#xff1a;照片&#xff09;
- 可以将大文件存储在对象存储系统&#xff0c;数据库中存储路径
- 禁止在线上环境做数据库压力测试
- 测试&#xff0c;开发&#xff0c;线上数据库环境必须隔离
2.命名规范
- 库名&#xff0c;表名&#xff0c;列名必须用小写&#xff0c;采用下划线分隔
- abc&#xff0c;Abc&#xff0c;ABC都是给自己埋坑
- 库名&#xff0c;表名&#xff0c;列名必须见名知义&#xff0c;长度不要超过32字符
- tmp&#xff0c;wushan谁TM知道这些库是干嘛的
- 库备份必须以bak为前缀&#xff0c;以日期为后缀
- 从库必须以-s为后缀
- 备库必须以-ss为后缀
3.表设计规范
- 单实例表个数必须控制在
2000
个以内 - 单表分表个数必须控制在
1024
个以内 - 表必须有主键&#xff0c;推荐使用
unsigned
整数为主键- 潜在坑&#xff1a;删除无主键的表&#xff0c;如果是row模式的主从架构&#xff0c;从库会挂住
- 禁止使用外键&#xff0c;如果要保证完整性&#xff0c;应由应用程式实现
- 外键使得表之间相互耦合&#xff0c;影响
update/delete
等SQL性能 - 有可能造成死锁&#xff0c;高并发情况下容易成为数据库瓶颈
- 外键使得表之间相互耦合&#xff0c;影响
- 建议将大字段&#xff0c;访问频度低的字段拆分到单独的表中存储&#xff0c;分离冷热数据
- 垂直拆分的依据&#xff0c;尽量把长度较短&#xff0c;访问频率较高的属性放在主表里
- 流量大数据量大时&#xff0c;数据访问要有
service
层&#xff0c;并且service
层不要通过join
来获取主表和扩展表的属性 - 具体可以参考沈剑大牛写的《如何实施数据库垂直拆分》
4.列设计规范
- 根据业务区分使用
tinyint
/int
/bigint
&#xff0c;分别会占用1
/4
/8
字节 - 根据业务区分使用
char
/varchar
&#xff08;PS&#xff1a;没有MSSQL里的nvarchar
&#xff09;- 字段长度固定&#xff0c;或者长度近似的业务场景&#xff0c;适合使用
char
&#xff0c;能够减少碎片&#xff0c;查询性能高 - 字段长度相差较大&#xff0c;或者更新较少的业务场景&#xff0c;适合使用
varchar
&#xff0c;能够减少空间
- 字段长度固定&#xff0c;或者长度近似的业务场景&#xff0c;适合使用
- 根据业务区分使用
datetime
/timestamp
datetime
占用5个字节&#xff0c;timestamp
占用4个字节- 存储年使用
year
&#xff0c;存储日期使用date
&#xff0c;存储时间使用datetime
- 必须把字段定义为
NOT NULL
并设默认值- NULL需要更多的存储空间
- NULL的列使用索引&#xff0c;索引统计&#xff0c;值都更加复杂&#xff0c;MySQL更难优化
- NULL只能采用IS NULL或者IS NOT NULL&#xff0c;而在&#61;/!&#61;/in/not in时有大坑
- 使用
int unsigned
存储IPv4
&#xff0c;不要用char(15)
- 使用
varchar(20)
存储手机号&#xff0c;不要使用整数- 手机号不会用来做数学运算
varchar
可以模糊查询(eg&#xff1a;like ‘138%’)- 牵扯到国家代号&#xff0c;可能出现
&#43;、-、()
等字符&#xff0c;eg&#xff1a;&#43;86
- 使用
tinyint
来代替enum
enum
增加新值要进行DDL
操作
5.索引规范&#xff08;常用&#xff09;
- 唯一索引使用
uniq_字段名
来命名&#xff08;uq_表名_字段名
&#xff09; - 非唯一索引使用
idx_字段名
来命名&#xff08;ix_表名_字段名
&#xff09; - 单张表索引数量建议控制在5个以内
- 互联网高并发业务&#xff0c;太多索引会影响写性能
- 异常复杂的查询需求&#xff0c;可以选择
ES
等更为适合的方式存储 生成执行计划时&#xff0c;如果索引太多&#xff0c;会降低性能&#xff0c;并可能导致MySQL选择不到最优索引
- 组合索引字段数不建议超过5个
- 如果5个字段还不能极大缩小row范围&#xff0c;八成是设计有问题
- 不建议在频繁更新的字段上建立索引
- 尽量不要
join
查询&#xff0c;如果要进行join
查询&#xff0c;被join
的字段必须类型相同&#xff0c;并建立索引join
字段类型不一致容易导致全表扫描
- 理解组合索引最左前缀原则&#xff0c;避免重复建设索引
- 如果建立了
(a,b,c)
&#xff0c;相当于建立了(a)
,(a,b)
,(a,b,c)
- 如果建立了
6.SQL规范&#xff08;常用&#xff09;
- 禁止使用
select *
&#xff0c;只获取必要字段- 指定字段能有效利用索引覆盖
select *
会增加cpu/io/内存/带宽
的消耗指定字段查询&#xff0c;在表结构变更时&#xff0c;能保证对应用程序无影响
insert
必须指定字段&#xff0c;禁止使用insert into T values()
- 指定字段插入&#xff0c;在表结构变更时&#xff0c;能保证对应用程序无影响
- 隐式类型转换会使索引失效&#xff0c;导致全表扫描&#xff08;很重要&#xff09;
- 禁止在
where
条件列使用函数或者表达式- 导致不能命中索引&#xff0c;全表扫描
- 禁止负向查询以及
%
开头的模糊查询- 导致不能命中索引&#xff0c;全表扫描
- 禁止大表
join
和子查询
- 同一个字段上的
or
必须改写为in
&#xff0c;in
的值必须少于50个 - 应用程序必须捕获SQL异常&#xff08;方便定位线上问题&#xff09;
课后思考&#xff1a;为什么select uid from user where phone&#61;13811223344
不能命中phone索引&#xff1f;
课后拓展&#xff1a;
MyISAM与InnoDB两者之间区别与选择
https://www.cnblogs.com/y-rong/p/5309392.html
https://www.cnblogs.com/y-rong/p/8110596.html了解下Mysql的间隙锁及产生的原因
https://www.cnblogs.com/wt645631686/p/8324671.htmlgrant授权和revoke回收权限
https://www.cnblogs.com/kevingrace/p/5719536.htmlcentos7自带数据库MariaDB重启和修改密码
https://blog.csdn.net/shachao888/article/details/50341857MySQL添加用户、删除用户与授权
https://www.cnblogs.com/wanghetao/p/3806888.html深度认识 Sharding-JDBC&#xff1a;做最轻量级的数据库中间层
https://my.oschina.net/editorial-story/blog/888650