Release Notes

Oushu Lava 4.2.0.0 (发布日期:2021年08月30)

Oushu Lava 4.2.0.0 版本做了如下的改进:

  • 完善Lava高可用功能。
  • WASP引入CDC数据抽取功能,支持从kafka中解析Json格式的CDC数据进行实时同步,支持自定义Json解析模版,支持并发资源配置,支持源到目标的表映射规则,提供事务机制和recover机制保证数据一致性和完整性。
  • WASP集群部署适配新框架,更加稳定可靠。
  • WASP任务列表提供批量 启动/停止/删除 操作,引入新的搜索工具。

版本升级:请参见 3.5.0.0 的升级步骤。

Oushu Lava 4.1.0.0 (发布日期:2021年06月30)

Oushu Lava 4.1.0.0版本做了如下的改进:

  • 集群管理支持虚拟子集群的可视化展示、监控。
  • 完善集群状态监控功能。
  • 支持高可用。
  • 新增OushuDB监控总览页面。
  • 支持OushuDB主备节点同步状态监控。
  • 完善权限系统。
  • WASP支持库对库数据同步的列映射类型/名称转化配置。
  • WASP监控界面的重构,打印详细的运行时任务信息。

版本升级:请参见 3.5.0.0 的升级步骤。

Oushu Lava 4.0.0.0 (发布日期:2021年06月18)

Oushu Lava 4.0.0.0 包含了如下新功能:

  • 修复时间显示格式问题。
  • SQL资源监控:可以监控SQL执行时对CPU、Memory等资源的占用情况,并且保存SQL监控的历史信息。
  • 新版本LavaFlow监控运维的支持。
  • 新版作业调度工具LavaFlow: 新版作业调度工具在资源组织上做了极大的调整,对于其页面及操作也做了相应的完全翻新。在保留绝大部分老版本的功能外,引入了许多全新功能:
    1. 页面组织删繁就简,作业调度菜单下融合保留一个服务运维,以及两个核心功能的子菜单。
    2. 引入”作业空间”-“文件夹”-“作业”-“任务”-“任务组”-”文本资源“等多级立体资源体系,引用树形菜单组织管理。
    3. 全面提升作业流图的表现力,加入更完善的拖拽式流图编辑。
    4. 升级老版本的”沉浸式开发”,在调度系统之上融合了脚本在线编辑,版本控制等部分IDE功能。
    5. 保留升级cron表达式定时基础上,加入时间间隔定时。
    6. 引入作业监控面板,总揽调度系统实时作业运行情况以及定时情况。
    7. 引入”合并”任务(节点),在流图中可进行”或“运算。
    8. 优化了执行引擎,修复一些老版本已知bugs。

版本升级:请参见 3.5.0.0 的升级步骤。

Oushu Lava 3.10.0.0 (发布日期:2021年05月)

全新的Oushu Lava 3.10.0.0版本做了如下的改进:

  • 查询控制台支持可视化分区表合并功能。

版本升级:请参见 3.5.0.0 的升级步骤。

Oushu Lava 3.9.0.0 (发布日期:2021年02月25)

全新的Oushu Lava 3.9.0.0版本做了如下的改进:

  • Kafka版本升级到2.10,并修复相关Kafka部署、管理、运维Bug。
  • 查询控制台Bug修复。
  • 优化了Lava监控运维相关的功能。
  • WASP修复状态监控的Bug。
  • LavaFlow修复并发太多的时候作业偶发停止不了的问题。

版本升级:请参见 3.5.0.0 的升级步骤。

Oushu Lava 3.8.0.0 (发布日期:2021年01月23)

全新的Oushu Lava 3.8.0.0版本做了如下的改进:

  • 修复了查询控制台的一些Bug,如可视化创建分区表不成功等。
  • 增加了一些安全相关的优化,包括可配置的密码规则、增加了验证码机制、避免密码明文传输等。
  • 增加了可视化配置OushuDB的参数的功能。
  • 增加了基于AOP的分布式权限认证框架。

版本升级:请参见 3.5.0.0 的升级步骤。

Oushu Lava 3.7.0.1 (发布日期:2021年01月19)

Oushu Lava 3.7.0.1做了如下改进:

  • 修复了查询控制台、Kafka监控管理等部分Bug。
  • 增加了锁定会话、登录后重定向到之前访问页面等会话相关功能。
  • 增加了控制页面风格的新皮肤。
  • 优化了SQL监控的搜索功能,支持简单搜索与高级搜索。

版本升级:请参见 3.5.0.0 的升级步骤。

Oushu Lava 3.7.0.0 (发布日期:2021年01月11)

Oushu Lava 3.7.0.0做了如下改进:

  • 修复了用户管理、页面展示、Kafka监控管理、达芬奇集成等部分Bug。
  • 增加了页面模块的权限管理,管理员可以给角色赋予不同的页面的访问权限。
  • Wasp增加了可配置的JDBC Driver的功能,Wasp可以更加灵活的支持更多的数据库版本。

版本升级:请参见 3.5.0.0 的升级步骤。

Oushu Lava 3.6.0.0 (发布日期:2020年12月25)

Oushu Lava 3.6.0.0版本包含如下新特性:

  • 集成开源BI工具”达芬奇”。
  • 优化SQL监控功能。
  • 页面弹出窗口标准化。
  • 查询控制台下载功能优化:支持下载当前返回给前端的结果(最大限制2M),或者下载所有查询结果数据两个下载选项。

版本升级:请参见 3.5.0.0 的升级步骤。

Oushu Lava 3.5.0.0 (发布日期:2020年11月27)

全新的Oushu Lava 3.5.0.0版本包含如下新特性:

  • 数据同步工具(Wasp)的增强:

支持从OushuDB直接导出到异构数据库; 支持异构的数据库导出为ORC文件; 支持批量配置数据同步任务; 支持配置过滤条件; Bug修复。

  • 监控运维:

新增对Kafka部署、监控、配置的支持,支持Kafka元数据管理; 支持SQL任务监控,可以监控正在执行SQL以及历史SQL对集群资源的占用情况; 查询控制台的升级,支持更加丰富的图形化数据库操作的功能,比如图形化对表的增删改查;

  • Lava用户与OushuDB用户同步行为的调整:

Lava的用户与OushuDB的用户之间,不再做同步,两个用户系统从此版本开始相互独立。查询控制台、LittleBoy 等之前需要依赖OushuDB集群与当前Lava用户来访问OushuDB的地方,都会改成通过数据源的方式去访问 OushuDB数据库。

  • 下架旧的数据资产功能:

数据资产的功能被查询控制台的功能完全覆盖,所以此功能完成历史使命,新版的数据资产不久就会问世。

版本升级:版本升级包含三个部分,Lava Server的升级、数据同步Wasp Server的升级以及作业调度LavaFlow Server的升级。

Lava Server升级:

  1. 连接到pg的客户端,备份postgres/oushu 下的所有表数据。(postgres为数据库名,oushu为schema名)。
  2. 备份 /usr/local/oushu/lava-cloud/bin/cloud 。
  3. 用root用户运行lava stop cluster。
  4. 用新的软件包的cloud文件替换/usr/local/oushu/lava-cloud/bin/cloud。
  5. 在每一台添加到Lava里面管理的机器上,备份并替换/usr/local/oushu/oushu-assist/bin/lava 为新包里的同名文件。
  6. (可选,只有在表结构有变动时)删除oushu schema下所有的表。
  7. (可选,只有在表结构有变动时)将步骤1备份的表数据迁移到新版本的oushu schema下的数据表。
  8. 用root用户运行lava start cluster。

数据同步工具Wasp升级:

  1. 连接到pg的客户端,备份postgres/wasp下的所有表数据(postgres为数据库名,wasp为schema名)。
  2. 登陆Wasp的每一个节点,备份wasp的conf配置文件。替换wasp的包,根据备份的wasp conf来修改最新版本的配置文件(如果配置项无须变化,move过来即可)。
  3. (可选,只有在表结构有较大变动时)连接pg客户端,在postgres数据库下,drop掉旧版本的wasp数据:drop schema wasp cascade。
  4. (可选,只有在表结构有较大变动时)重新创建wasp的schema:create schema wasp authorization oushu(此处默认用户名为oushu)。
  5. (可选,只有在表结构有较大变动时)将步骤1备份的表数据迁移到新版本的wasp schema下的数据表。
  6. 重启wasp,此时新版本的wasp数据表会在postgres/wasp下自动创建。

作业调度工具LavaFlow升级:

  1. 连接到pg的客户端,备份postgres/lavaflow下的所有表数据(postgres为数据库名,lavaflow为schema名)。
  2. 登陆lavaflow的每一个节点,备份lavaflow的conf配置文件。替换lavaflow的包,根据备份的lavaflow conf来修改最新版本的配置文件。(如果配置项无须变化,move过来即可)
  3. (可选,只有在表结构有较大变动时)连接pg客户端,在postgres数据库下,drop掉旧版本的lavaflow数据:drop schema lavaflow cascade。
  4. (可选,只有在表结构有较大变动时)删掉并重新创建lavaflow的schema:create schema lavaflow authorization oushu(此处默认用户名为oushu)
  5. (可选,只有在表结构有较大变动时)将步骤1备份的表数据迁移到新版本的lavaflow schema下的数据表。
  6. 重启lavaflow,此时新版本的lavaflow数据表会在postgres/lavaflow下自动创建。

Oushu Lava 3.2.0.0 (发布日期:2020年4月20)

全新的Oushu Lava 3.2.0.0版本包含如下新特性:

  • 数据同步工具(Wasp)的增强:新增db2/as400的数据源支持。为了提高并发数据同步性能,添加了新的并行同步分片策略,可以选用整型的列作为分片的key。
  • 调度工具(LavaFlow)的增强:调度工具(LavaFlow)的增强:沉浸式在线开发作业调度作业流,同时支持服务节点本地文件系统和HDFS文件系统下的SQL、Shell脚本的在线开发与版本管理。支持高可用(HA)。
  • 集成开发环境IDE:项目式管理数据同步、作业调度、AI任务、AI模型、AI服务、数据服务的开发。

版本升级:版本升级包含三个部分,Lava Server的升级、数据同步Wasp Server的升级以及作业调度LavaFlow Server的升级。

Lava Server升级:

  1. 连接到pg的客户端,备份postgres/oushu 下的所有表数据。(postgres为数据库名,oushu为schema名)。
  2. 备份 /usr/local/oushu/lava-cloud/bin/cloud 。
  3. 用root用户运行lava stop cluster。
  4. 用新的软件包的cloud文件替换/usr/local/oushu/lava-cloud/bin/cloud。
  5. 在每一台添加到Lava里面管理的机器上,备份并替换/usr/local/oushu/oushu-assist/bin/lava 为新包里的同名文件。
  6. (可选,只有在表结构有变动时)删除oushu schema下所有的表。
  7. (可选,只有在表结构有变动时)将步骤1备份的表数据迁移到新版本的oushu schema下的数据表。
  8. 用root用户运行lava start cluster。

数据同步工具Wasp升级:

  1. 连接到pg的客户端,备份postgres/wasp下的所有表数据(postgres为数据库名,wasp为schema名)。
  2. 登陆Wasp的每一个节点,备份wasp的conf配置文件。替换wasp的包,根据备份的wasp conf来修改最新版本的配置文件(如果配置项无须变化,move过来即可)。
  3. (可选,只有在表结构有较大变动时)连接pg客户端,在postgres数据库下,drop掉旧版本的wasp数据:drop schema wasp cascade。
  4. (可选,只有在表结构有较大变动时)重新创建wasp的schema:create schema wasp authorization oushu(此处默认用户名为oushu)。
  5. (可选,只有在表结构有较大变动时)将步骤1备份的表数据迁移到新版本的wasp schema下的数据表。
  6. 重启wasp,此时新版本的wasp数据表会在postgres/wasp下自动创建。

作业调度工具LavaFlow升级:

  1. 连接到pg的客户端,备份postgres/lavaflow下的所有表数据(postgres为数据库名,lavaflow为schema名)。
  2. 登陆lavaflow的每一个节点,备份lavaflow的conf配置文件。替换lavaflow的包,根据备份的lavaflow conf来修改最新版本的配置文件。(如果配置项无须变化,move过来即可)
  3. (可选,只有在表结构有较大变动时)连接pg客户端,在postgres数据库下,drop掉旧版本的lavaflow数据:drop schema lavaflow cascade。
  4. (可选,只有在表结构有较大变动时)删掉并重新创建lavaflow的schema:create schema lavaflow authorization oushu(此处默认用户名为oushu)
  5. (可选,只有在表结构有较大变动时)将步骤1备份的表数据迁移到新版本的lavaflow schema下的数据表。
  6. 重启lavaflow,此时新版本的lavaflow数据表会在postgres/lavaflow下自动创建。

Oushu Lava 3.1.0.0 (发布日期:2020年2月)

全新的Oushu Lava 3.1.0.0版本包含如下新特性:

  • 数据同步工具(Wasp)的增强:HDFS、SQLServer数据源的支持。
  • 调度工具(LavaFlow)的增强:增加了作业间依赖、支持SQL脚本、脚本的在线编辑上传、脚本历史版本的管理、查看正在执行的任务的日志、任务超时告警等功能;作业流程图展示的优化:可以横置、纵置,可以折叠、展开流程图的分支。

版本升级:版本升级包含三个部分,Lava Server的升级、数据同步Wasp Server的升级以及作业调度LavaFlow Server的升级。

Lava Server升级:

  1. 连接到pg的客户端,备份postgres/oushu 下的所有表数据。(postgres为数据库名,oushu为schema名)。
  2. 备份 /usr/local/oushu/lava-cloud/bin/cloud 。
  3. 用root用户运行lava stop cluster。
  4. 用新的软件包的cloud文件替换/usr/local/oushu/lava-cloud/bin/cloud。
  5. 在每一台添加到Lava里面管理的机器上,备份并替换/usr/local/oushu/oushu-assist/bin/lava 为新包里的同名文件。
  6. (可选,只有在表结构有变动时)删除oushu schema下所有的表。
  7. (可选,只有在表结构有变动时)将步骤1备份的表数据迁移到新版本的oushu schema下的数据表。
  8. 用root用户运行lava start cluster。

数据同步工具Wasp升级:

  1. 连接到pg的客户端,备份postgres/wasp下的所有表数据(postgres为数据库名,wasp为schema名)。
  2. 登陆Wasp的每一个节点,备份wasp的conf配置文件。替换wasp的包,根据备份的wasp conf来修改最新版本的配置文件(如果配置项无须变化,move过来即可)。
  3. (可选,只有在表结构有较大变动时)连接pg客户端,在postgres数据库下,drop掉旧版本的wasp数据:drop schema wasp cascade。
  4. (可选,只有在表结构有较大变动时)重新创建wasp的schema:create schema wasp authorization oushu(此处默认用户名为oushu)。
  5. (可选,只有在表结构有较大变动时)将步骤1备份的表数据迁移到新版本的wasp schema下的数据表。
  6. 重启wasp,此时新版本的wasp数据表会在postgres/wasp下自动创建。

作业调度工具LavaFlow升级:

  1. 连接到pg的客户端,备份postgres/lavaflow下的所有表数据(postgres为数据库名,lavaflow为schema名)。
  2. 登陆lavaflow的每一个节点,备份lavaflow的conf配置文件。替换lavaflow的包,根据备份的lavaflow conf来修改最新版本的配置文件。(如果配置项无须变化,move过来即可)
  3. (可选,只有在表结构有较大变动时)连接pg客户端,在postgres数据库下,drop掉旧版本的lavaflow数据:drop schema lavaflow cascade。
  4. (可选,只有在表结构有较大变动时)删掉并重新创建lavaflow的schema:create schema lavaflow authorization oushu(此处默认用户名为oushu)
  5. (可选,只有在表结构有较大变动时)将步骤1备份的表数据迁移到新版本的lavaflow schema下的数据表。
  6. 重启lavaflow,此时新版本的lavaflow数据表会在postgres/lavaflow下自动创建。

Oushu Lava 3.0.0.0 (发布日期:2019年9月23)

Oushu Lava是一款针对企业用户推出的数据中台,支持客户进行敏捷数据应用开发。Lava不仅拥有海量数据处理(OushuDB)和人工智能建模能力(LittleBoy),还提供了数据同步、 调度、数据可视化、数据服务、数据资产管理等数据中台所必备的功能,为用户提供智能化一站式大数据和AI服务,助力企业实现数字化转型。

全新的Oushu Lava 3.0版本包含如下新特性:

  • 增加了数据同步工具:支持分布式并发导入,支持全量、增量与定时,比传统数据同步工具可以更好的利用OushuDB的高效特性。支持Mysql、Postgresql、Oracle、DB2作为数据源。
  • 增加了调度工具:可以调度脚本、 数据同步任务、LittleBoy人工智能任务,并提供完美作业资源管理和的错误处理机制。
  • 增加了数据服务功能:支持在线编辑指定字段与自定义SQL两种类型的API。
  • 集成OushuDB 4.0:深度监控OushuDB 4.0,包括资源的配置及使用状态、正在执行的SQL(可手动停止)、SQL历史、所占空间等等;提供在线资源配置与资源计划功能,用户可以在线配置OushuDB资源队列,并可以按照时间规划资源队列的配比。
  • 集成LittleBoy 2.1 :增加了AI服务的功能,支持基于OushuDB 4.0的模型训练与预测。
  • 优化了自动部署功能,自动部署成功率大大提高。
  • 支持OushuDB 4.0、LittleBoy 2.1、 数据同步服务器、调度服务器的自动部署。
  • 支持HDFS、Zookeeper等第三方大数据产品。
  • 支持OushuDB与HDFS的在线一键扩容。
  • Lava支持高可用,提高灾备能力。
  • 基于自定义规则的报警功能:用户自定义规则、自定义报警通知方式与接收者。

Oushu Lava 2.0.0.2 (发布日期:2019年3月22)

  • 在安装Oushu Lava的时候,可以指定端口。

Oushu Lava 2.0.0.1 (发布日期:2019年3月20)

  • 集成的Oushu Database升级为 3.3.0.1。

Oushu Lava 2.0.0.0 (发布日期:2019年2月22)

Oushu Lava 2.0.0.0 目前只有发布了私有云版本,目前公有云依然是Oushu Lava 1.0.0.0,Oushu Lava 2.0.0.0 公有云版本在不久后会上线。 Oushu Lava 2.0.0.0 比Oushu Lava 1.0.0.0 版本有如下新特性增强:

  • 私有云支持自动部署Oushu Database 3.3.0.0、LittleBoy Server 2.0.0.0、LittleBoy训练集群2.0.0.0、HDFS。
  • 基于单表多列的数据可视化分析工具。
  • Oushu Lava Master的自动部署。
  • 集成LittleBoy 2.0.0.0。
  • 集成Oushu Database 3.3.0.0。

Oushu Lava 1.0.0.0 试用版 (发布日期:2018年8月)

Oushu Lava 1.0.0.0 试用版有以下主要功能:

  • 基于Azure的自动部署与管理单节点Oushu Database 3.1.2.1 与LittleBoy 1.0 训练集群(公有云)。
  • 支持注册(添加)手动安装的 Oushu Database集群与Little Boy训练集群到Oushu Lava云平台(私有云)。
  • 监控集群与服务的状态。
  • 数据库对象管理。
  • SQL面板。
  • 数据加载。
  • 基于单列的数据分布可视化。
  • 集群日志查看。
  • 支付与账单管理(公有云)。
  • 系统报警。
  • 集成LittleBoy人工智能系统。

Oushu Lava 1.0.0.0公有云试用版有以下限制,正式版上线后会取消这些限制。

  1. 每个企业账号只能创建两个集群,包括LittleBoy训练的时候动态起的训练集群。
  2. 每个集群只能有一个单节点。
  3. 试用期平台会不定期更新,每次更新预计2-5分钟左右,如果给您带来不变,敬请谅解。

请注册公有云账号下载最新的软件包:https://cloud.oushu-tech.com/#/download