涉及的数据量大
数据不随程序的结束而消失
数据被多个应用程序共享
大数据
数据的分类
结构化的数据:即有固定格式和有限长度的数据。例如填的表格就是结构化的数据,序号:1,姓名:张三,性别:男,年龄:18,这都叫结构化数据
非结构化的数据:非结构化的数据越来越多,就是不定长、无固定格式的数据,例如网页,有时候
非常长,有时候几句话就没了;例如语音,视频都是非结构化的数据
半结构化数据:比如:XML或者HTML的格式的数据
文件管理系统的缺点:
编写应用程序不方便
数据冗余不可避免
应用程序依赖性
不支持对文件的并发访问
数据间联系弱
难以按用户视图表示数据
无安全控制功能
数据库系统发展阶段:
萌芽阶段:文件系统 :使用磁盘文件来存储数据
初级阶段:第一代数据库 :出现了网状模型、层次模型的数据库
中级阶段:第二代数据库 :关系型数据库和结构化查询语言
高级阶段:新一代数据库 “关系-对象” 型数据库
Database:数据库是数据的汇集,它以一定的组织形式存于存储介质上
DBMS:是管理数据库的系统软件,它实现数据库系统的各种功能。是数据库系统的核心
DBA:负责数据库的规划、设计、协调、维护和管理等工作
应用程序:指以数据库为基础的应用程序
相互关联的数据的集合
较少的数据冗余
程序与数据相互独立
保证数据的安全、可靠
最大限度地保证数据的正确性
数据可以并发使用并能同时保证一致性
数据定义
数据处理
数据安全
数据备份
单机架构
大型主机/终端架构
主从式架构(C/S)
分布式架构
1.7 各种数据库管理系统
层次数据库
网状数据库
RDBMS 关系型数据库
Relational Database Management System,关系模型最初由IBM公司的英国计算机科学家埃德加·科德(Edgar F. Codd)于1969年描述,1974年,IBM开始开发系统R,这是一个开发RDBMS原型的研究项目。然而,第一个商业上可用的 RDBMS 是甲骨文,于1979年由关系软件(现为甲骨文公司)发布.
关系统型数据库相关概念:
关系 Relational :关系就是二维表,其中:表中的行、列次序并不重要
行 row:表中的每一行,又称为一条记录record
列 column:表中的每一列,称为属性,字段,域 field
主键 Primary key:PK , 用于唯一确定一个记录的字段,一张表只有一个主键
域 domain:属性的取值范围,如,性别只能是’男’和’女’两个值,人类的年龄只能0-150
常用关系数据库:
MySQL : MySQL, MariaDB, Percona Server
PostgreSQL : 简称为pgsql,EnterpriseDB
Oracle : 是甲骨文公司的一款关系数据库管理系统。
MSSQL :是指微软的SQLServer数据库服务器,它是一个数据库平台,提供数据库的从服务器到终端的完整的解决方案,其中数据库服务器部分,是一个数据库管理系统,用于建立、使用和维护数据库。
DB2 :是IBM一种分布式数据库解决方案。简单说:DB2就是IBM开发的一种大型关系型数据库平台
实体联系模型E-R
实体 Entity:客观存在并可以相互区分的客观事物或抽象事件称为实体,在E-R图中用矩形框表示实体,把实体名写在框内
属性:实体所具有的特征或性质
联系:联系是数据之间的关联集合,是客观存在的应用语义链
• 实体内部的联系:指组成实体的各属性之间的联系。如职工实体中,职工号和部门经理号之间
有一种关联关系
• 实体之间的联系:指不同实体之间联系。例:学生选课实体和学生基本信息实体之间
• 实体之间的联系用菱形框表示
联系类型:
一对一联系(1:1)
一对多联系(1:n):外键
多对多联系(m:n):增加第三张表
数据的操作:
数据提取:在数据集合中提取感兴趣的内容。select
数据更新:变更数据库中的数据。insert、delete、update
数据库规划流程:
收集数据,得到字段
收集必要且完整的数据项
转换成数据表的字段
主流的数据库系统 关系型数据库:
Mysql(Oracle公司) 、 SQL server(微软) 、access(微软公司office产品) Oracle 、DB2(IBM公司),sybase(sybase) 等等
关系型数据库和非关系型数据库的区别
关系数据库: 关系数据库结构是二维数据库表,二维表当中每个字段(列)用来描述对象的一个属性, 每个记录(行)用来描述一个对象的信息(完整信息),关系数据库写到哪里也就是存储在硬盘当中 读写系统就会受到的IO限制或者瓶颈
关系型数据库最典型的数据结构是表,由二维表及其之间的联系所组成的一个数据组织
优点:
1、易于维护:都是使用表结构,格式一致
2、使用方便:SQL语言通用,可用于复杂查询
3、复杂操作:支持SQL,可用于一个表以及多个表之间非常复杂的查询
缺点:
1、读写性能比较差,尤其是海量数据的高效率读写
2、固定的表结构,灵活度稍欠
3、高并发读写需求,传统关系型数据库来说,硬盘I/O是一个很大的瓶颈
缓存加速软件 非关系型数据库(NoSQL): MongoDB 、 Redis(内存数据库/缓存数据库)K-V键值对、与之类似的Memcache,K-V键值对 redis-memecache对比: 相同点:存储高热数据(在内存中高速运行) 不同点:redis可以做持久化保存,可以存储对象
非关系型数据库严格上不是一种数据库,应该是一种数据结构化存储方法的集合,可以是文档或者键值对等。
优点:
1、格式灵活:存储数据的格式可以是key,value形式、文档形式、图片形式等等,文档形式、 图片形式等等,使用灵活,应用场景广泛,而关系型数据库则只支持基础类型。
2、速度快:nosql可以使用硬盘或者随机存储器作为载体,而关系型数据库只能使用硬盘;
3、高扩展性与高可用性;
4、成本低:nosql数据库部署简单,基本都是开源软件。
缺点:
1、不提供sql支持,学习和使用成本较高
2、无事务处理
3、数据结构相对复杂,复杂查询方面稍欠
使用数据库可以高效且条理分明地存储数据,使人们能够更加迅速、方便地管理数据。 数据库具有以下特点:
可以结构化存储大量的数据信息,方便用户进行有效的检索和访问。
可以有效地保持数据信息的一致性、完整性,降低数据冗余。
可以满足应用的共享和安全方面的要求。
数据库技术是计算机科学的核心技术之一,具有完备的理论基础。对数据库基本概念的掌握,将有助于对数据库的理解。
数据(Data)
描述事物的符号记录
包括数字,文字、图形、图像、声音、档案记录等
以“记录”形式按统一的格式进行存储
表
将不同的记录组织在一起
用来存储具体数据
数据库
表的集合,是存储数据的仓库
以一定的组织方式存储的相互有关的数据集合
数据库管理系统(DBMS)
数据库管理系统(Database Management System,DBMS)是实现对数据库资源有效组织、 管理和存取的系统软件。它在操作系统的支持下,支持用户对数据库的各项操作。
DBMS 主要包括以下功能:
数据库的建立和维护功能:包括建立数据库的结构和数据的录入与转换、数据库的 转储与恢复、数据库的重组与性能监视等功能。
数据定义功能:包括定义全局数据结构、局部逻辑数据结构、存储结构、保密模式 及信息格式等功能。保证存储在数据库中的数据正确、有效和相容,以防止不合语 义的错误数据被输入或输出。
数据操纵功能:包括数据查询统计和数据更新两个方面。
数据库的运行管理功能:这是数据库管理系统的核心部分,包括并发控制、存取控 制、数据库内部维护等功能。
通信功能:DBMS 与其他软件系统之间的通信,如 Access 能与其他 Office 组件进行 数据交换。
数据库系统:
是一个人机系统,由硬件、OS、数据库、DBMS、应用软件和数据库用户组成
用户可以通过DBMS或应用程序操作数据库
过程:
应用程序把查询SQL语句发给服务器端执行。
服务器解析请求的SQL语句。
语句执行。
PS:
确保SQL语法正确;
确保SQL语义上的正确性即对象是否存在;
数据库用户是否具有相应的访问权限。
数据库:database
表:table,行:row 列:column
索引:index
视图:view
存储过程:procedure
存储函数:function
触发器:trigger
事件调度器:event scheduler,任务计划
用户:user
权限:privilege
在数据库系统中,SQL 语句不区分大小写,建议用大写
SQL语句可单行或多行书写,默认以 " ; " 结尾
关键词不能跨多行或简写
用空格和TAB 缩进来提高语句的可读性
子句通常位于独立行,便于编辑,提高可读性
数据库对象和命名
数据库的组件(对象):
数据库、表、索引、视图、用户、存储过程、函数、触发器、事件调度器等
命名规则:
必须以字母开头,后续可以包括字母,数字和三个特殊字符(# _ $)
不要使用MySQL的保留字,如tabble select show databases
SQL语句分类:
#DDL: Data Defination Language 数据定义语言
CREATE,DROP,ALTER#DML: Data Manipulation Language 数据操纵语言
INSERT,DELETE,UPDATE#DQL:Data Query Language 数据查询语言
SELECT #DCL:Data Control Language 数据控制语言
GRANT,REVOKE,COMMIT,ROLLBACKSELECT * #SELECT子句
FROM products #FROM子句
WHERE price>666 #WHERE子句
mysql> help create
#help 后面跟上具体命令可以查看帮助
Many help items for your request exist.
To make a more specific request, please type 'help
where
topics:CREATE DATABASECREATE EVENTCREATE FUNCTIONCREATE FUNCTION UDFCREATE INDEXCREATE LOGFILE GROUPCREATE PROCEDURECREATE SERVERCREATE TABLECREATE TABLESPACECREATE TRIGGERCREATE USERCREATE VIEWSHOWSHOW CREATE DATABASESHOW CREATE EVENTSHOW CREATE FUNCTIONSHOW CREATE PROCEDURESHOW CREATE TABLESHOW CREATE USERSPATIAL##也可以进一步mysql> help create DATABASE \G
show charset;
#查看支持字符集
默认拉丁文字
utf8 | UTF-8 Unicode
#阉割版的
utf8mb4 | UTF-8 Unicode
#真实的版本
我们编译安装已经修改过了
mysql> show databases;
#查看当前数据库mysql> use mysql;
#使用 mysql表MySQL root@localhost:school> select * form kaka;
#查看kaka表格的
创建数据库
#创建数据库
create database ka;#查看创建的数据库
show databases;#查看创建的数据库
show create database ka;删除数据库DROP DATABASE|SCHEMA [IF EXISTS] 'DB_NAME';drop database ka;查看数据库列表SHOW DATABASES;show databases;
数据类型:
数据长什么样
数据需要多少空间来存放
数据类型:
系统内置数据类型
用户定义数据类型
MySQL:支持多种内置数据类型
数值类型:
日期/时间类型
字符串(字符)类型
选择正确的数据类型对于获得高性能至关重要,三大原则:
更小的通常更好,尽量使用可正确存储数据的最小数据类型
简单就好,简单数据类型的操作通常需要更少的CPU周期
尽量避免NULL,包含为NULL的列,对MySQL更难优化
tinyint(m) 1个字节 范围(-128~127)
smallint(m) 2个字节 范围(-32768~32767)
mediumint(m) 3个字节 范围(-8388608~8388607)
int(m) 4个字节 范围(-2147483648~2147483647)
bigint(m) 8个字节 范围(±9.22*10的18次方)
上述数据类型,如果加修饰符unsigned后,则最大值翻倍
如:tinyint unsigned的取值范围为(0~255)
float(m,d) 单精度浮点型 8位精度(4字节) m总个数,d小数位, 注意: 小数点不占用总个数
double(m,d) 双精度浮点型16位精度(8字节) m总个数,d小数位, 注意: 小数点不占用总个数
设一个字段定义为float(6,3),如果插入一个数123.45678,实际数据库里存的是123.457,但总个数还以实际为准,即6位
在数据库中存放的是精确值,存为十进制
decimal(m,d) 表示 最多 m 位数字,其中 d 个小数,小数点不算在长度内
比如: decimal(6,2) 总共能存6位数字,末尾2位是小数,字段最大值 9999.99 (小数点不算在长度内)
参数m<65 是总个数&#xff0c;d<30且 d MySQL5.0 和更高版本将数字打包保存到一个二进制字符串中&#xff08;每4个字节存9个数字&#xff09;。 例如: decimal(18,9)小数点两边将各存储9个数字&#xff0c;一共使用9个字节&#xff1a;其中&#xff0c;小数点前的9个数字用4个字节&#xff0c;小数点后的9个数字用4个字节&#xff0c;小数点本身占1个字节 浮点类型在存储同样范围的值时&#xff0c;通常比decimal使用更少的空间。float使用4个字节存储。double占用8个字节 因为需要额外的空间和计算开销&#xff0c;所以应该尽量只在对小数进行精确计算时 char(n) 固定长度&#xff0c;最多255个字符,注意不是字节 varchar(n) 可变长度&#xff0c;最多65535个字符 tinytext 可变长度&#xff0c;最多255个字符 text 可变长度&#xff0c;最多65535个字符 mediumtext 可变长度&#xff0c;最多2的24次方-1个字符 longtext 可变长度&#xff0c;最多2的32次方-1个字符 BINARY(M) 固定长度&#xff0c;可存二进制或字符&#xff0c;长度为0-M字节 VARBINARY(M) 可变长度&#xff0c;可存二进制或字符&#xff0c;允许长度为0-M字节 内建类型&#xff1a;ENUM枚举, SET集合 数据库管理系统的基本功能&#xff1a;5.4 字符串(char,varchar,text)
总结
数据定义
数据处理
数据安全
数据备份