【数据库系统工程师】第14章 数据库主流应用技术
目录
-
思维导图
- 14.1 分布式数据存储系统
- 核心概念分析
- 系统架构设计
- 数据查询处理与性能优化
- 分布式事务管理策略
- 高效设计：新型分布式海量数据库（注：增加了"高效设计"使表述更加详细）
- 14.1 分布式数据存储系统
-
14.2 Web与数据库的关系
-
-
- Web基础概述
-
-
详细讨论了Web服务器脚本程序及其与服务器接口的交互。
-
CGI技术在Web开发中的应用中详细探讨了其功能特点。
-
ASP技术在Web开发中的应用中展示了其强大的动态网页构建能力。
-
.NET框架下的Servlet和JSP技术在Web开发中的应用中分析了它们的具体实现细节。
-
14.3 XML 与数据库
-
- 1.什么是 XML
- 2.XML 与数据库的数据转换
-
-
14.4 基于对象的数据库
-
- 该系统的主要特性
-
- 数据结构
-
- 编程语言
-
- 具有关联性的系统
-
-
14.5 大数据与数据库
-
- 数据分析中数据仓库设计的相关内容
-
数据迁移技术的具体应用
-
基于联机分析处理的系统功能特点
-
基于联机事务处理的系统特性
- 14.6 NewSQL 数据库
-
- 1.NewSQL数据库的发展
- 2.TiDB 的介绍
思维导图
14.1 分布式数据库
1.基本概念
○ 正常运行策略
■ 系统组成图
定义
● 满足以下条件的数据库系统被称为完全分布式数据库系统：首先具备分布式特性（Data Distribution），其次具有数据间的逻辑关联关系（Logical Cohesion），然后实现对系统的全局一致性（System Wide Consistency），最后保证各节点之间的独立运行能力（Node Independence）。
○ 特点
■ 数据集中控制特征
■ 数据完整性保障
■ 数据冗余管理能力
■ 分布式运行支持
■ 有效访问性能
2.体系结构
○ 模式结构
■ 结构模式图
■ 四层模式
● 全局外层
● 全局概念层
● 局部概念层
● 局部内层
○ 数据分布
■ 集中式
■ 分割式
■ 复制式
■ 混合式
○ 数据分片
■ 方法
● 水平分片
● 垂直分片
● 水平和垂直结合的分片
■ 遵守规则
● 完备性条件
● 可重构条件
● 不相交条件
○ 分布透明性
■ 分片透明性
■ 分配透明性
■ 局部数据模型透明性
○ 分布式数据库管理系统
■ 分类
● 综合型
● 联合型
■ 遵循的12条准则，满足则称为完全的分布式管理系统
● (1)本地自治性; (2)不依赖于中心站点; (3)可连续操作性; (4)位置透明性和独立性; (5)数据分片独立性; (6)数据复制独立性; (7)分布式查询处理; (8)分布式事务管理; (9)硬件独立性; (10)操作系统独立性; (11)网络独立性; (12) DBMS独立性。
■ 组成
● (1)LDBMS，局部场地上的数据库管理系统，其功能是建立和管理局部数据库， 提供场地自治能力，执行局部应用及全局查询的子查询。
● (2)GDBMS,全局数据库管理系统，主要功能是提供分布透明性，协调全局事务的执行， 协调各局部数据库管理系统以完成全局应用，保证数据库的全局一致性，执行并发控 制，实现更新同步，提供全局恢复功能等。
● (3)全局数据字典(Global Data Directory, GDD)
● (4)通信管理( Communication Management, CM )
● 结构图
3.分布式查询处理和优化
○ 针对查询执行代价的优化
○ 针对查询响应时间的优化
4.分布事务管理
分布式事务的概念：一个分布式事务可以视为由多个不同站点上的子事务共同构成。
分布式事务的主要特点：具备原子性、串行性和一致性等核心特征。
分布式事务的隔离特性：强调数据的一致性和独立性处理能力。
分布式数据库中的故障类型：涵盖网络故障、通信链路中断等多种可能情况。
分布式数据库故障分类：包括硬件故障、软件错误以及通信中断等多个维度的问题。
分布式数据库的恢复策略
遵循隔离原则并采用逐步退出的方式进行事务处理
在成功终止事务状态下维持系统稳定性
在异常情况下采用故障排除机制完成事务处理
两阶段提交协议确保数据一致性
数据一致性验证阶段与实际执行数据提交的过程相协调
活动图描述系统行为流程
两阶段提交机制在故障恢复中的应用
5.新型分布式海量数据库
○ BigTable
14.2 Web 与数据库
1.Web概述
○ Web数据库 被称为网络数据库。
■ 一个Web数据库即为用户通过浏览器作为数据输入界面，在线提供所需数据服务的系统。
当一个Web数据库运行时 用户只需将所需数据输入浏览器 即可实现与服务器的数据交互与处理
○ WWW网络环境下的Web数据库 在当前环境下 最具代表性的商业应用型关系型数据库包括SQL Server Oracle MySQL等主流产品
2.Web服务器脚本程序与服务器接口
○ 连接策略
■ 服务器端
● 采用的技术包括 CGI/WWW technologies, SAPI, ASP, PHP, 和 JSP 等
■ 客户端
● 常用的技术有 JDBC (Java Database Connectivity) 和 DHTML (Dynamic HTML)
○ 常见数据库连接方法
■ ODBC
■ DAO
■ RDO
■ ADO DB（ADO for Database）
3.CGI的应用
4.ASP的应用
5.Servlet和JSP的应用
14.3 XML 与数据库
1.什么是 XML
XML (Extensible Markup Language)，作为可扩展标记语言的一种官方标准，在文档管理领域发挥着重要作用。它通过一套规范性的语义标记系统将文档内容分解为多个独立组件，并对这些组件进行标识化处理。这种设计不仅使其成为一种基础标记语言体系的基础框架，并且也为其在特定领域内的语义结构化标记语言的发展提供了明确的技术规范基础
2.XML 与数据库的数据转换
○ 表格模型
○ 特定数据对象模型
14.4面向对象数据库
1.面向对象数据库系统的特征
○ 面向对象数据库系统具备表达与管理对象的能力
○ 面向对象数据库系统能够支持任意复杂的对象结构
○ 面向对象数据库系统必须提供与面向对象编程语言交互的接口
○ 面向对象数据库系统能实现对数据库变化状态的描述与管理
2.面向对象数据模型
○ 对象结构
○ 对象类
○ 继承和多重继承
○ 对象标识
○ 对象嵌套
3.面向对象数据库语言
○ 具备的功能
■ 类的定义和操纵
■ 操作/方法的定义
■ 对象的操纵
4.对象关系数据库系统
○ 层次结构
○ 复杂数据类型
○ 引用与继承类型
○ 基于复杂数据类型的查询请求
○ 函数模块与过程模块
○ 面向对象设计与对象间关联
14.5大数据与数据库
1.大数据之数据仓库的设计
○ 粒度划分
○ 数据分割
2.数据转移技术
○ 简单转移
○ 清洗
○ 集成
○ 聚集和概括
3.数据仓库的主要应用场景-联机分析处理(OLAP)
○ 基本概念
■ 变量
■ 维
■ 维的层次
■ 维成员
■ 多维数组
■ 数据单元
4.数据库主要应用场景-联机事务处理(OLTP)
○ OLAP和PLTP对比
14.6 NewSQL 数据库
1.NewSQL数据库的发展
○ 新架构
○ SQL 引擎
○ 数据分片
2.TiDB 的介绍
○ TiDB集群架构
