近日,偶数科技发布了OushuDB 4.8版本。团队历时2个多月的开发,相比之前的版本又引入了以下新的功能特性:

1. 添加了全新的Extendable Resource Manager,相比之前单点RM,通过引入ERM部署多个RM的方式来均衡负载,更加合理的分配资源。

存储与计算分离架构下,如何更有效的注册节点,调度资源以及在资源调度的同时更好的考虑数据本地性,是资源管理器需要解决的问题。4.8版本之前,资源管理器是一个单点架构,在大规模计算节点和多集群架构下存在瓶颈。因此4.8引入可扩展的资源管理器,解除了单点的限制,可以通过添加新的RM的方式,均衡超大规模集群的负载。

2. 新增Native Magma格式,支持更高效的增删改查,并发小查询性能也得到进一步优化。

Native Magma格式实现了QD端元数据的缓存,优化了单个事务内对magma元数据的访问次数。此外在Prepared Statement场景支持了PlanCache, 省去了优化器重复生成查询计划的时间。进一步提升Magma实时处理的性能。

3. 优化新执行器external sort,采用新的外排优化算法,达到了更高效的排序性能。

排序算法包含内存算法和外存算法。当计算机内存因容量不足无法存放所有数据时,需要将中间排序结果写入到磁盘中,最后统一归并成有序输出。OushuDB 4.8针对新执行器原有的外部排序修复了归并文件过大问题,同时针对内存排序性能进行优化,处理速度得到进一步提升。

Oushu Database(简称OushuDB)是新一代云原生数据仓库,让企业用户轻松构建核心数仓、数据集市、实时数仓以及湖仓一体数据平台。OushuDB通过计算存储分离架构解决了传统数据仓库高成本、高门槛、难维护、难扩展的问题;OushuDB由国人自主研发,符合国家信创标准,同时支持各大公有云和私有云。