Oushu Database 4.0 Beta 新特性 (发布日期:2019年9月12日)#

作为新的里程碑，本次我们在OushuDB 4.0版本中开发了分布式表存储Magma，并将其作为OushuDB的新一代数据存储底层实现。历时两年半打造，从此OushuDB拥有了自己的原生表存储。Magma和HDFS并驾齐驱， 解决HDFS不能高效支持的特性。

新Magma存储的引入使得OushuDB达到了前所未有的高度。例如：使其具备了真正的高性能表数据更新删除（Update、Delete）功能；具备了高效的基于索引的数据约束和查询能力；具备了内建的自动数据冗余和服务高可用能力。

通过将新分布式存储模块和新执行器的整合，OushuDB架构在保持存储与计算分离的同时，保证了最优的性能。可以说是业界最前沿的架构，完美原生匹配云平台的弹性需求，远超目前市面同类产品。

Oushu Database 4.0 Beta 包括如下新特性：

  • Magma存储支持结构化数据存储，提供高性能存储内数据读写支持；

  • Magma存储支持表数据Update和Delete功能；

  • Magma存储支持ACID分布式事务；

  • Magma存储支持主键索引、唯一键索引和普通索引提高数据检索性能；

  • Magma存储支持表数据的自动冗余持久化和高可用访问；

  • Magma存储支持Oushu Database弹性扩容；

  • Oushu Database执行器和优化器针对Magma进行特别优化，实现最优的数据访问性能表现；

  • Oushu Database 执行器和优化器支持对Magma表的Index Scan和Index-Only Scan；

  • Magma存储 为P2P无中心架构，提高集群部署灵活性便捷性同时降低使用维护复杂度；

  • Magma支持JSON数据格式(JavaScript Object Notation)，它是一种轻量级的数据交换格式，易于人阅读和编写，同时也易于机器解析和生成;

  • Magma支持JSON的操作符和相关函数。

Oushu Database 4.0 Beta 修复的Bug如下：

  • 超过 MaxAORelSegFileStatus 限制时报错前未释放表锁的问题

  • 重构 gpfdist 服务端/客户端代码

  • 修复通过 pg_dump 导出外部表时查询语句不完整的问题

  • 修复追加表（append-only table）中删除哈希项的 bug

  • 修复从 ORC 表 COPY SELECT 到文件时的问题

  • 修复使用 gpfdist 向 text 表插入数据时结果错误的问题

  • 重命名外部表时同步重命名 HDFS 路径

  • 修复日志时区与表时区不一致的问题

  • 修复循环执行 DROP、CREATE、INSERT 时丢失 relid 的 bug

  • 修复死锁检测运行中的 bug

  • 重命名路径时检查 nullptr

  • 移除已废弃的 orc 实现

  • 适配 OushuDB 兼容金山云和 Oushu CI 环境下的 Ambari

  • 修复 TEXT/CSV 格式下 hostname 和 path 为 NULL 的 bug

  • 重命名外部表前刷新 kerberos ticket

  • 修复 copyfunc 中的内存 bug

  • 修复通过 JDBC 访问带 error table 的外部表时的 bug

  • 修复重命名 HDFS 路径时字符串长度计算错误的问题

  • 新增 hawq install-oushu-python/remove-oushu-python 工具

  • 修复 url_curl 在 TopMemoryContext 下 palloc 的问题

  • 关联 HIVE 表时可能发生 core dump

  • 执行 pg_relation_size 查询 HIVE 表时发生 core dump

  • 分析 HIVE 表时发生 core dump

  • 修改 Tomcat 默认路径

操作系统

版本

Redhat/Centos

7.0

Redhat/Centos

7.1

Redhat/Centos

7.2

Redhat/Centos

7.3

Redhat/Centos

7.4

从3.x升级到4.0 Beta#

4.0 Beta 版本暂不支持升级。