Oushu Database 6.2.1.0 新特性 (发布日期:2025年4月09日)#

  1. 新增开源兼容Hudi-orc内表格式

  2. 打通spark对Hudi-orc格式内表的读取功能

  3. 支持Hudi-orc格式内表的容灾备份功能

  4. 新增对异步自动全量物化视图的支持

  5. 新增支持内表使用JNI接口

  6. 新增rcfile格式外表

  7. 新增外表数据缓存功能

  8. 补充copy定制需求，与5x版本拉齐

  9. 修复数个hive对接兼容性问题

  10. 修复行策略与脱敏一起使用时失效的问题

操作系统

版本

Redhat/Centos

7.0

Redhat/Centos

7.1

Redhat/Centos

7.2

Redhat/Centos

7.3

Redhat/Centos

7.4

从 6.1.0.0 升级到 6.2.1.0#

该升级步骤仅支持 hdfs 存储, 不支持含有 magma 数据存储的集群.

  1. 修改 pg_hba.conf 停止所有负载

  2. 停止 OushuDB 集群 (main 和 segment)

# checkpoint多次
psql -d postgres -c "checkpoint; checkpoint;"
oushudb stop cluster -a
oushudb ssh -f ${all_host_file} -e "source /usr/local/oushu/oushudb/oushudb_path.sh; oushudb ps | grep postmaster" # 检查是否有残留进程

  1. 导出元数据

catalog_upgrade --export=${export_path}

没有 catalog_upgrade 的话可以手动绕过:

catalog_ctl --export-magma=/tmp/upgrade_export
cp /usr/local/oushu/oushudb/catalog-data/1/*.schema /tmp/upgrade_export/1/
echo -n "6.0.0.0" >/tmp/upgrade_export/version

  1. 迁移集群目录

masterdd 和 segmentdd 的路径可以通过查询 oushudb-site.xml 中 oushudb_main_directory 和 oushudb_segment_directory 获得.

接下来对 masterdd 和 segmentdd 目录进行备份.

请将 ${main_host_file}/${segment_hosts_file} 替换为保存集群 main/segment 节点 hostname 的文件名称。

并将 ${masterdd}/${segmentdd} 替换为上文中获取到的 masterdd/segmentdd 的目录位置.

oushudb ssh -f ${main_hosts_file} -e "mv ${masterdd} ${masterdd}.bak"
oushudb ssh -f ${segment_hosts_file} -e "mv ${segmentdd} ${segmentdd}.bak"

接下来迁移 vsc_catalog 的 data目录.

目录的路径可以查询 magma-topology.yaml 中的 data_dir 获得. 可能会有多个目录. 将各个目录都迁移到新的位置.

# 对每一个路径都运行一遍
oushudb ssh -f ${catalog_hosts_file} -e "mv ${datadir} ${datadir}.bak"

  1. 升级 RPM

oushudb ssh -f ${all_hosts_file}
rpm -e oushudb
rpm -ivh ${newest_oushudb_rpm}

检查所有节点上的版本是否一致, 并确认为目标版本

oushudb ssh -f ${all_hosts_file} -e "magma --version"

  1. 初始化 vsc_catalog 集群

# 创建每一个 datadir 目录, ${datadir} 替换为相应的目录
oushudb ssh -f ${catalog_hosts_file} -e "mkdir -p ${datadir}"
magma start cluster
magma create vscluster --no-import-catalog

  1. 导入元数据

# ${export_path} 为第一步生成的路径
# ${csv_export_path} 为另一个新的路径, 存储导入时创建的文件
catalog_upgrade --import=${export_path} --csv-out=${csv_export_path}

  1. 元数据验证

catalog_upgrade --verify --verify-data=${csv_export_path} --verify-filter=.*

该命令必须运行成功, 否则进行回退.

如果是从 6.0.0.0 升级还需要验证以下命令

catalog_upgrade --verify --verify-filter=checkview_for_pg_authid

根据提示记录下所有需要重新创建的 view.

  1. 初始化集群

oushudb init cluster --no_post_init

  1. 检查集群可用性

  2. 重新创建第7步记录下来的view

  3. 恢复 pg_hba.conf 配置

升级失败回退步骤#

如果 < 步骤 2, 不需要恢复, 旧集群仍然可用.

如果 < 步骤 3, 恢复旧集群即可.

如果步骤 3 已经执行结束或者执行到一半, 按照以下步骤恢复.

  1. 停止所有可能启动的 oushudb 进程.

oushudb stop cluster -a --with_magma
oushudb ssh ${all_hosts_file} -e "oushudb ps" # 检查残留进程

  1. 将步骤 3 备份的目录全部恢复至原位. (恢复前应删除新创建的目录)

  2. 降级 RPM 至原先版本

  3. 启动旧集群

oushudb start cluster -a --with_magma

  1. 恢复 pg_hba.conf