重大更新!Oushu Lava 数据管理平台发布 4.4 版本啦
近日,偶数数据管理平台 Lava 发布了最新版本 4.4。相比之前版本,4.4 版本新增了很多功能与特性。
随着数据呈现出种类多、体量大和时效高的特点,监控运维的关注重点从基础设施的监控拓展至多种监控角度以及各类数据的来源,Lava 监控运维作为基础功能赋能偶数平台产品。
Lava 的数据同步将主流数据库与偶数产品生态对接,让用户更加轻松的使用偶数的产品和解决方案,迅速搭建数据分析和应用。
随着基于数据分析的应用大量增长,健壮的调度任务管理已经是非常重要的一环。Lava 作业调度针对的偶数数据云平台涉及的主要场景,提供了更加易用的解决方案。
接下来,让我们一起了解下 Lava 4.4 的新功能。
01监控运维部分
监控运维相关模块做了如下优化:
1、集群管理支持虚拟子集群的可视化展示、监控。
2、支持 SQL 任务监控,可以监控正在执行 SQL 以及历史 SQL 对集群资源的占用情况。
3、查询控制台升级,基于 browser 的查询控制台工具,支持丰富的图形化数据库对象管理功能。
4、增加对 Kafka 的支持,支持 Kafka 的部署、管理,包括对 topic、partition 的管理与 Kafka 消息元数据的管理。
5、安全相关的优化,包括密码强度规则的配置、敏感信息传输加密等。
6、优化了 Lava 高可用的逻辑。
7、监控指标对接普罗米修斯。
02数据同步工具(WASP)
数据同步工具 WASP 拥有如下新增强:
1、支持更多的数据源与目标:支持从异构数据库导出到 ORC 文件,支持从 OushuDB 导出到异构数据库等。如下图所示,首列为源,首行为目标。
2、支持批量配置数据同步任务,为表数量比较多的场景提供便捷的工具:支持两种方式,可以通过 Excel 文件导入的方式批量配置数据同步任务,也可以提供 UI 来批量配置库对库、模式对模式的数据同步任务。
3、支持配置数据抽取的过滤条件。
4、支持 JDBC Driver 的配置功能,可以支持更多的数据库版本。
5、支持 CDC 实时数据同步。
03作业调度(LavaFlow)
作业调度(LavaFlow)设计进行了重大升级,新版的作业调度拥有以下特性:
1、页面组织删繁就简,作业调度菜单下融合保留一个服务运维,以及两个核心功能的子菜单。
2、引入"作业空间”-“文件夹”-“作业”-“任务”-"任务组"-”文本资源“等多级立体资源体系,引用树形菜单组织管理。
3、全面提升作业流图的表现力,加入更完善的拖拽式流图编辑。
4、升级老版本的"沉浸式开发",在调度系统之上融合了脚本在线编辑,版本控制等部分 IDE 功能。
5、保留升级 cron 表达式定时基础上,加入时间间隔定时。
6、引入作业监控面板,总览调度系统实时作业运行情况以及定时情况。
7、支持的任务类型有:shell 脚本、Python 脚本、SQL 脚本、AI 任务、ETL 任务、作业引用任务等。引入“合并” 任务(节点),在流图中可进行“或”运算。
Oushu Lava 是一款面向企业用户的数据管理平台,支持敏捷数据应用开发。Lava 不仅拥有海量数据处理能力,还提供数据同步、作业调度、数据开发、数据服务、数据资产管理等数据开发和应用的必备功能,为用户提供一站式数据