DM数据库安装注意事项
数据库安装注意事项
一、安装前
一些参数需要在数据库创建实例前找用户确认。
| 参数名 | 参数掩码 | 参数值 | 备注 |
|---|---|---|---|
| 数据页大小 | PAGE_SIZE | 32 | 数据文件使用的页大小(缺省使用8K，建议默认：32)，可以为 4K、8K、16K 或 32K 之一，选择的页大小越大，则 DM 支持的元组长度也越大，但同时间利用率可能下降。 |
| 簇大小 | EXTENT_SIZE | 32 | 数据文件使用的簇大小，即每次分配新的段空间时连续的页数(缺省使用16页，建议默认：32)，可选值：16, 32, 64。 |
| 大小写敏感| CASE_SENSITIVE| | 标识符大小写敏感(默认：Y)，取值：Y/N，1/0。
0（ MYSQL开发）：当大小写不敏感时， 系统不自动转换标识符的大小写，在标识符比较时也不区分大小写。
1（ Oracle开发）：当大小写敏感时，小写的标识符应用双引号括起，否则被转换为大写； |
|数据库字符集|CHARSET/UNICODE_FLAG|字符集选项(默认：0)。 0 代表 GB18030； 1 代表UTF-8； 2 代表韩文字符集EUC-KR||
**是否以字符为单位？**默认设置是0。
取值可选： 0或1。
如果选择：
- ** Oracle开发（选项值 0）：** 不，默认情况下所有 VARCHAR 类型对象的长度以字节为单位。
- ** MySQL开发（选项值 1）：** 设置为以字符为单位时，默认情况下 VARCHAR 类型对象的实际存储长度与定义的字符长度并不完全一致。例如，在 MySQL 中，默认情况下 VARCHAR(8188) 的实际存储长度可能远大于8188个字符。
需要注意的是，在 MySQL 中，默认情况下 VARCHAR(8188) 的实际存储长度仍然受到限制吗？**
因为 Oracle 的设计考虑了不同的编码方式。
而在 MySQL 中，默认情况下 VARCHAR(8188) 的实际存储长度可能会超过定义的字符数吗？**
需要注意的是，在 MySQL 中，默认情况下 VARCHAR(8188) 的实际存储长度仍然受到限制吗？
在设置字符串比较时，在BLANK_PAD_MODE模式下，默认值为0；允许取值为0或1。其中：
- 0：表示不兼容
- 1（ Oracle开发）：表示兼容（Oracle开发）
Oracle和MYSQL参数配置区别 ：
| 参数 | Oracle开发取值 | MYSQL开发取值 |
|---|---|---|
| CASE_SENSITIVE | 1 | 0 |
| LENGTH_IN_CHAR | 0 | 1 |
| BLANK_PAD_MODE | 1 | 0 |
1、初始化脚本
1.1 兼容MYSQL脚本
$ ./dminit path=/dm/data CASE_SENSITIVE=0 LENGTH_IN_CHAR=1 BLANK_PAD_MODE=0 CHARSET=1 PORT_NUM=5237 PAGE_SIZE=32 EXTENT_SIZE=32
AI生成项目sh1.2 兼容Oracle脚本
$ ./dminit path=/dm/data CASE_SENSITIVE=1 LENGTH_IN_CHAR=0 BLANK_PAD_MODE=1 CHARSET=1 PORT_NUM=5237 PAGE_SIZE=32 EXTENT_SIZE=32
AI生成项目sh二、安装过程
1、操作系统参数检查
1.1 用户和用户组检查
1．禁止使用root用户部署达梦数据库。
2．dmdba用户的密码不得使用默认值"dmdba"。若在旧版本安装后需要更改该用户的默认密码，则应重新设置该用户的密码。
3．同一项目中所有服务器，dmdba用户、dinstall用户的gid和uid必须一致。
$ groupadd -g 3000 dinstall #创建用户组
$ useradd -g 3000 -u 2000 -m -d /home/dmdba -s /bin/bash dmdba
$ passwd dmdba # 修改密码
AI生成项目sh查看命令：
$ id dmdba
uid=2000(dmdba) gid=3000(dinstall) 组=3000(dinstall)
AI生成项目sh1.2 防火墙检查
数据库服务器都建议关闭防火墙，以root命令。
1.2.1 Centos7/8系统关闭防火墙
- 永久关闭防火墙
$ systemctl disable firewalld
AI生成项目sh1.3 关闭numa
NUMA（Non-Uniform Memory Access）架构旨在解决多 CPU 环境下的内存访问不一致性问题。即不再将物理内存视为一个统一的整体,而是根据不同 CPU 的特点区分不同的内存块,例如两台 CPU 每台均配备 64G 内存。当 NUMA 参数 zone_reclaim_mode 设置为 1 时,内核倾向于从距离较近的系统内存节点(在 numa 架构下,服务器的整体内存在若干个节点)分配内存,而不是在整个服务器可访问内存范围内进行分配。这样在面对高负载时,系统的内核态运行时间过长,长期会导致频繁的内存回收整理操作,最终影响整体性能并引发 SQL 运行卡顿的问题。
1.3.1 Centos7关闭方法
- 编辑 /etc/default/grub 文件，如下图所示加上：numa=off
- 使用
grub2-mkconfig重新生成/etc/grub2.cfg 配置文件
$ sudo grub2-mkconfig -o /boot/grub2/grub.cfg
AI生成项目sh- 重启计算机后验证numa是否关闭
$ dmesg | grep -i numa
AI生成项目sh1.4 禁用透明大页
1.4.1 Cnetos7关闭方法
- 编辑文件
/etc/rc.local，并且给该文件执行权限 ，添加如下内容
$ vi /etc/rc.local
if test -f /sys/kernel/mm/transparent_hugepage/defrag; then
echo never > /sys/kernel/mm/transparent_hugepage/defrag
fi
if test -f /sys/kernel/mm/transparent_hugepage/enabled; then
echo never > /sys/kernel/mm/transparent_hugepage/enabled
fi
AI生成项目sh- 重启系统 并验证
$ cat /sys/kernel/mm/transparent_hugepage/enabled
always madvise [never] #关闭状态
$ cat /sys/kernel/mm/transparent_hugepage/defrag
always madvise [never] #关闭状态
AI生成项目sh1.5 SELinux检查
SELinux 有 3 种模式，分别是 Enforcing，Permissive 和 Disabled 状态。
Enforcing：严格模式。代表 SELinux 中，并且已经限制了 domain 和 type 之间的验证关系。
宽容的策略（称为Permissive），代表SELinux在该策略下不会限制不同domain或类型之间的验证关联；即便验证出现错误，进程仍可执行文件的操作；若验证失败将触发警告信息。
3️⃣Disabled：关闭模式。SELinux 并没有实际。
可以使用setenforce命令来配置前两个状态；若希望将其设为disable（不可逆）状态，则需编辑配置文件。Enforce状态下参数取值范围是1允许、0禁止。
1.5.1 临时关闭SELinux
$ setenforce 0
AI生成项目sh1.5.2 临时开启SELinux
$ setenforce 1
AI生成项目sh1.5.3 查看SELinux状态
$ getenforce
AI生成项目sh1.5.2 永久关闭SELinux
需修改配置文件：/etc/selinux/config，修改 SELINUX=disabled
注意：永久性地禁用SELinux；必须在服务器重新启动后才会生效；且一旦永久关闭后，则无法通过setenforce命令来临时解除此设置。
1.6 环境变量profile参数检查
调整 dmdba 用户下的环境变量文件 .bash_profile。
LD_LIBRARY_PATH 用于标识为查找共享库（动态链接库）时除了预设的默认位置外的所有额外的路径。
(2) PATH 环境变量表示用于搜索命令和程序的目录位置，并且 PATH 中的各个目录用冒号分割。
(3) DM_HOME 定义达梦数据库的软件目录。
$ su - dmdba
$ vi .bash_profile
AI生成项目sh export DM_HOME="/dm8"
export LD_LIBRARY_PATH="$LD_LIBRARY_PATH:$DM_HOME/bin"
export PATH=$PATH:$DM_HOME/bin:$DM_HOME/tool
AI生成项目ini1.7 操作系统资源限制检查(limits.conf)
在大多数Linux、Solaris、AIX 和 HP-UNIX 等系统中，默认情况下会限制程序对操作系统的资源使用**（例如内存和磁盘空间）**
首先用户使用 dmdba用户进行登录，命令（ulimit -a）进行查询。
$ ulimit -a
core file size (blocks, -c) 0
data seg size (kbytes, -d) unlimited
scheduling priority (-e) 0
file size (blocks, -f) unlimited
pending signals (-i) 7827
max locked memory (kbytes, -l) 64
max memory size (kbytes, -m) unlimited
open files (-n) 65536
pipe size (512 bytes, -p) 8
POSIX message queues (bytes, -q) 819200
real-time priority (-r) 0
stack size (kbytes, -s) 16384
cpu time (seconds, -t) unlimited
max user processes (-u) 4096
virtual memory (kbytes, -v) unlimited
file locks (-x) unlimited
AI生成项目sh
建议将核心文件夹的大小设置为无限大，并将其归置到大容量存储区域中存放。
dmdba soft core unlimited
dmdba hard core unlimited
AI生成项目ini通常情况下，默认来说(core)文件会按照常规情况生成至当前程序所在目录下的同一层级位置
> $ cat /proc/sys/kernel/core_pattern ##查看core文件生成路径
>
>
> AI生成项目sh
>
>
>
>当遇到默认路径空间不足的情况时，请在原有目录下添加磁盘，并重新设置core文件的生成位置；也可通过以下指令来设置core文件的生成目录位置：
> ##将core文件统一生成到/corefile目录下，产生的文件名为core-命令名-pid-时间戳，这个文件是即时生效，不需要重启系统
> $ echo "/corefile/core-%e-%p-%t" >/proc/sys/kernel/core_pattern
> ##修改完成后执行如下命令检查修改是否成功
> $ cat /proc/sys/kernel/core_pattern
>
>
> AI生成项目sh
>
>
>
>
>
>
>利用systemctl或者systemd service命令配置自动启动的数据库服务，在设置时其最大文件描述符、进程数量等参数将不受limits.conf的影响，并需编辑/etc/systemd/system.conf文件内容。可参考修改系统配置方法。
(2) data seg size建议设置大小不低于1,048,576字节或设为无限大；当该参数值较小时可能导致数据库无法正常启动。使用vim编辑器打开limits.conf文件，在其下方新增两行代码。
dmdba soft data unlimited
dmdba hard data unlimited
AI生成项目ini(3) file size建议将unlimited(无限制)配置为默认值以避免任何问题，并且该参数过小可能导致数据库安装或初始化失败。此参数的具体设置应参考在/etc/security/limits.conf文件中的相关说明。
dmdba soft fsize unlimited
dmdba hard fsize unlimited
AI生成项目ini建议将open files参数设置为大于等于65536或设为unlimited。通过vim工具打开指定路径的安全配置文件，并在下方增加相应的配置内容
dmdba soft nofile 65536
dmdba hard nofile 65536
AI生成项目inivirtual memory参数建议设置为1048576及以上或设为unlimited状态。如果该参数设置不足，则可能导致数据库无法正常启动。
该安全参数建议设置为10240至65536之间的整数值。为了实现这一设置，请在vi命令行界面中输入"set max user processes"并按回车键确认；同时，在文件/etc/security/limits.conf中添加以下两行代码：set max user processes=10240~65536；随后重启系统以生效相关配置
dmdba soft nproc 10240
dmdba hard nproc 10240
AI生成项目ini设置nice参数来调整进程优先级，并在其中指定"优先级"等级时，请注意数值越小则表示该进程的优先级等级越高。使用vim编辑器打开并编辑此安全配置文件，并在其下方新增两行内容以补充必要的限制措施
dmdba soft nice 0
dmdba hard nice 0
AI生成项目ini修改后的文本
将地址空间限制配置为ulimit参数，并使用vim编辑器打开/etc/security/limits.conf文件，在指定位置添加新的限制设置
dmdba soft as unlimited
dmdba soft as unlimited
AI生成项目ini1.8 调整system.conf 参数
该系统的配置信息由名为system.conf的文档记录，在系统运行过程中将自动调用该文件内容；同时反向引用用户配置文件user.conf
达梦数据库服务需被注册为系统进程以实现随机自启动功能。该过程可通过systemctl或service命令完成操作；值得注意的是，在此过程中所涉及的最大文件描述符数及proc数量等参数并不会受到limits.conf文件的影响；此外，在完成上述操作后仍需进行额外的配置步骤以确保系统的正常运行
1.8.1 修改system.conf 文件
$ vi /etc/systemd/system.conf
AI生成项目sh # 修改下面两个配置
DefaultLimitFSIZE=unlimited
DefaultLimitDATA=unlimited
DefaultLimitCORE=unlimited
DefaultLimitNOFILE=65536
DefaultLimitAS=unlimited
DefaultLimitNPROC=10240
DefaultLimitNICE=0
AI生成项目ini**脚本：**验证参数配置情况
## 验证参数配置情况
cat /etc/systemd/system.conf|grep -v '#'
AI生成项目sh注意：保存退出后需要重启服务器才能生效 。
1.8.2 检验配置是否生效
在数据库之后，可通过cat /proc/pid号 /limits，检查实际资源限制是否生效
- 找到使用dmdba用户的DmAPService服务，可以得知进程号**
972**
$ cat /proc/972/limits
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 8388608 unlimited bytes
Max core file size unlimited unlimited bytes
Max resident set unlimited unlimited bytes
Max processes 100000 100000 processes
Max open files 100000 100000 files
Max locked memory 65536 65536 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 7827 7827 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 0 0
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
AI生成项目sh
- 切换到dmdba，手动dmserver，得知进程号为**
1534**
$ cat /proc/1534/limits
Limit Soft Limit Hard Limit Units
Max cpu time unlimited unlimited seconds
Max file size unlimited unlimited bytes
Max data size unlimited unlimited bytes
Max stack size 8388608 unlimited bytes
Max core file size 4194304 4194304 bytes
Max resident set unlimited unlimited bytes
Max processes 10240 10240 processes
Max open files 32768 32768 files
Max locked memory 65536 65536 bytes
Max address space unlimited unlimited bytes
Max file locks unlimited unlimited locks
Max pending signals 7827 7827 signals
Max msgqueue size 819200 819200 bytes
Max nice priority 20 20
Max realtime priority 0 0
Max realtime timeout unlimited unlimited us
AI生成项目sh
1.9 内存参数overcommit_memory和swappiness参数检查
1.9.1 内存参数-overcommit_memory
- 检查参数
cat /proc/sys/vm/overcommit_memory
AI生成项目sh- 临时修改
echo 0 > /proc/sys/vm/overcommit_memory
AI生成项目sh- 永久修改
# 编辑配置文件
$ vim /etc/sysctl.conf
# 添加内容
vm.overcommit_memory=0
# 配置生效
$ sysctl -p
AI生成项目sh1.9.2 swappiness
为了减少操作系统内存因大量使用SWAP而导致数据库性能下降，在安装部署过程中需注意配置相关参数以控制swap资源的使用趋势。这样可以使系统最大限度地发挥内存性能。
- 检查参数
cat /proc/sys/vm/swappiness
AI生成项目sh- 永久修改
# 编辑配置文件
$ vim /etc/sysctl.conf
# 添加内容,内存小就设置为10，内存够就设置为1
vm.swappiness=10
# 配置生效
$ sysctl -p
AI生成项目sh1.10 关闭swap分区
在 Linux 系统中, SWAP 的功能相当于 Windows 系统中的'虚拟内存'.当物理内存不足时,在硬盘上腾出一部分空间作为 SWAP 分区(即作为临时存储空间),从而有效地应对内存容量不足的问题.
根据具体情况决定是否开启Swap
- 查看swap是否开启
$ swapon --show ## 有输出表示swap有开启
NAME TYPE SIZE USED PRIO
/dev/dm-1 partition 2G 0B -2
AI生成项目sh- 临时关闭
$ swapoff -a
AI生成项目sh- 永久关闭
$ cat /etc/fstab
/dev/mapper/centos-root / xfs defaults 0 0
UUID=cf42710a-173e-49a2-a920-cc38127674a7 /boot xfs defaults 0 0
/dev/mapper/centos-swap swap swap defaults 0 0
## 注释掉swap分区那一行，并且查看注释结果
$ sed -ri 's/.*swap.*/#&/' /etc/fstab && cat /etc/fstab
/dev/mapper/centos-root / xfs defaults 0 0
UUID=cf42710a-173e-49a2-a920-cc38127674a7 /boot xfs defaults 0 0
#/dev/mapper/centos-swap swap swap defaults 0 0
AI生成项目sh
1.11 文件系统格式检查
该上行评审工具用于评估数据库安装目录和数据目录这两个目录下的文件系统格式情况。该工具能够提供详细的 filesystem 类型建议，并支持 xfs 或 ext4 作为推荐选项中的一种选择。其中优先采用的是 xfs 文件系统这一设置方案。
- 检查格式命令
$ lsblk -f
NAME FSTYPE LABEL UUID MOUNTPOINT
sda
├─sda1 xfs cf42710a-173e-49a2-a920-cc38127674a7 /boot
└─sda2 LVM2_member QLhn2d-jc4X-27Kd-D9nJ-hDTD-qNK2-m0Ezw4
├─centos-root xfs 4a9f14ed-d69f-4133-b420-19261e237ffa /
└─centos-swap swap b806a8fc-76ef-4324-97e6-490abfa4c1d5
AI生成项目sh三、安装后
1 参数优化
数据库实例创建完成后，请使用'参数自动优化脚本工具-AutoParaAdj3.8_dm8.zip'设置参数优化方案
2 统计信息收集
在数据库实例创建完成后，在大多数情况下需要设置定时收集统计信息的任务计划。通常会先在前端进行基本的设置；此外还可以借助以下脚本来进行更详细的配置。
## 这行代码只允许执行一次
SP_INIT_JOB_SYS(1);
AI生成项目sql call SP_CREATE_JOB('statistics',1,0,'',0,0,'',0,'');
call SP_JOB_CONFIG_START('statistics');
call SP_JOB_SET_EP_SEQNO('statistics', 0);
call SP_ADD_JOB_STEP('statistics', 'statistics1', 0, 'begin
for rs in (select ''sf_set_session_para_value(''''HAGR_HASH_SIZE'''',(select cast(
case when max(table_rowcount(owner,table_name))<=(select max_value from v$dm_ini
where para_name=''''HAGR_HASH_SIZE'''') and max(table_rowcount(owner,table_name))>=(
select min_value from v$dm_ini where para_Name=''''HAGR_HASH_SIZE'''') then
max(table_rowcount(owner,table_name)) when max(table_rowcount(owner,table_name))<(
select min_value from v$dm_ini where para_Name=''''HAGR_HASH_SIZE'''') then
(select min_value from v$dm_ini where para_Name=''''HAGR_HASH_SIZE'''') else
(select max_value from v$dm_ini where para_Name=''''HAGR_HASH_SIZE'''') end as bigint)
from dba_tables where owner=''''''||NAME||''''''));'' sql1,
''DBMS_STATS.GATHER_SCHEMA_STATS(''''''||NAME||'''''',10,TRUE,''''FOR ALL COLUMNS SIZE AUTO'''');'' sql2
from SYS.SYSOBJECTS where TYPE$=''SCH'' ) loop
execute immediate rs.sql1;
execute immediate rs.sql2;
end loop;
end;', 0, 0, 0, 0, NULL, 0);
call SP_ADD_JOB_SCHEDULE('statistics', 'stat_cycle', 1, 2, 1, 64, 0, '00:00:00', NULL, '2023-08-30 01:01:01', NULL, '');
call SP_ADD_JOB_SCHEDULE('statistics', 'stat_once', 1, 0, 0, 0, 0, NULL, NULL, '2024-01-14 14:09:48', NULL, '');
call SP_JOB_CONFIG_COMMIT('statistics');
AI生成项目sql
3 备份配置
数据无价，备份很重要，一定要做，可以前台配置，也可以通过以下脚本配置。
备份策略：
全面备份（每日23点整）：在1分钟之后启动一次性全备调度任务，在任务完成后需进行备份确认流程。
增量备份（每周除周六外每天 23 点增量备份）：
备份定期删除（每天 23:30 删除 15 天前备份）：
以下备份脚本中的备份路径（/dmdata/dmbak/）根据实际情况修改：
/*全量备份*/
call SP_CREATE_JOB('bakfull',1,0,'',0,0,'',0,'');
call SP_JOB_CONFIG_START('bakfull');
call SP_JOB_SET_EP_SEQNO('bakfull', 0);
call SP_ADD_JOB_STEP('bakfull', 'bakfull', 6, '01020000/dmdata/dmbak/', 0, 0, 0, 0, NULL, 0);
call SP_ADD_JOB_SCHEDULE('bakfull', 'bakfull_cycle', 1, 2, 1, 64, 0, '23:00:00', NULL, '2023-08-30 01:01:01', NULL, '');
call SP_ADD_JOB_SCHEDULE('bakfull', 'bakfull_once', 1, 0, 0, 0, 0, NULL, NULL, sysdate+1/1440, NULL, '');
call SP_JOB_CONFIG_COMMIT('bakfull');
/*增量备份*/
call SP_CREATE_JOB('bakincr',1,0,'',0,0,'',0,'');
call SP_JOB_CONFIG_START('bakincr');
call SP_JOB_SET_EP_SEQNO('bakincr', 0);
call SP_ADD_JOB_STEP('bakincr', 'bakincr', 6, '41010000/dmdata/dmbak/|/dmdata/dmbak/', 0, 0, 0, 0, NULL, 0);
call SP_ADD_JOB_SCHEDULE('bakincr', 'bakincr_cycle', 1, 2, 1, 63, 0, '23:00:00', NULL, '2023-08-30 01:01:01', NULL, '');
call SP_JOB_CONFIG_COMMIT('bakincr');
/*定期删除*/
call SP_CREATE_JOB('delbak',1,0,'',0,0,'',0,'');
call SP_JOB_CONFIG_START('delbak');
call SP_JOB_SET_EP_SEQNO('delbak', 0);
call SP_ADD_JOB_STEP('delbak', 'delbak', 0, 'sf_bakset_backup_dir_add(''DISK'',''/dmdata/dmbak/'');call sp_db_bakset_remove_batch(''DISK'',now()-15);', 1, 2, 0, 0, NULL, 0);
call SP_ADD_JOB_SCHEDULE('delbak', 'delbak', 1, 1, 1, 0, 0, '23:30:00', NULL, '2023-08-30 01:01:01', NULL, '');
call SP_JOB_CONFIG_COMMIT('delbak');
AI生成项目sql
4 重启机器
上面的操作，很多都需要重启机器以后才会生效哦！