DB集群

在使用OushuDB服务之前,首先需要部署一个OushuDB的集群。LittleBoy做模型训练与预测的时候,也需要从OushuDB集群读取训练、评估与预测数据集。 一个用户可以部署多个OushuDB集群。对于公有云与私有云,OushuDB集群部署的步骤有很大的不同,我们分开来介绍。

点击左侧菜单栏OushuDB->DB集群,点击集群列表右上角的”创建集群”,会打开创建OushuDB集群的Wizard。Wizard总共有3步:选择HDFS集群、 选择节点、配置并部署集群。Wizard走完之后还需要两步:等待部署与验证部署成果。

注意:不要多个用户同时在相同机器上部署集群。

第一步:选择HDFS集群。由于OushuDB依赖HDFS,所以部署的第一步需要选择HDFS集群。如下图所示,如果Lava平台内没有部署过HDFS集群或者已经存在 的HDFS集群不符合OushuDB的要求,那么您可以点击HDFS集群列表右上的”创建新集群”来创建新的HDFS集群。 创建HDFS集群的步骤见:http://oushu.com/docs/ch/lava-hdfs.html

勾选您需要HDFS集群,点击下一步。

第二步:选择OushuDB节点。您要部署的Master,Standby, Segment节点。推荐使用默认选项,默认的选择根据上一步选的HDFS集群的节点分布设定的:HDFS Active NameNode 跟OushuDB Standby在同一个节点,HDFS Standby NameNode跟OushuDB Master在同一节点,HDFS DataNode与OushuDB Segment部署在一起。

角色/主机 host1 host2 host3 host4
HAWQ Master standby primary/master no no
HAWQ Segment yes yes yes yes
NameNode active standby no no
DataNode yes yes yes yes

(可选)如果您想添加新的机器到可选机器列表,点击列表右上方”添加机器”添加更多的机器。

第三步:检查OushuDB配置。所有的配置都提供了默认值,经常修改的(基本配置)会显示在表格里面,如果您想修改的配置项不是”基本配置”里的配置项,请点击”显示高级配置”, 在高级配置列表里面点击表格最后一列的”+”会在表格里面添加一行,在新添加的一行的”属性”里面输入或者选择您要添加/修改的配置项名称,在”值”一列会显示 默认的值,您可以保持默不变或者修改这个值。

第四步:部署OushuDB。检查好配置之后,点击下面的”部署”,进入部署OushuDB页面。OushuDB部署页面会动态展示部署日志以及部署的进度。

第五步:验证OushuDB部署成功。部署成功之后,会跳转到OushuDB列表,列表里面有刚部署成功的OushuDB集群。

点击左侧菜单栏OushuDB->SQL控制台,在SQL控制台选择刚才创建的集群,选择postgres数据库,在输入框内输入”select * from user;” ,点击编辑框上面的绿色三角形执行按键,执行SQL。如果能够执行成功,说明集群部署成功。

  • OushuDB集群权限管理

OushuDB的用户与Oushu Lava的用户是打通的,也就是说,OushuDB可以用Oushu Lava的用户来访问,前提是必须授予用户相关的OushuDB的权限。 企业的根用户与创建OushuDB的用户(owner)拥有该OushuDB的superuser的权限,这两个用户不但可以对该集群进行监控、启动、停止、删除与权限管理的操作, 还可以访问该集群的数据库,对该OushuDB执行SQL等。如果这两个用户通过权限管理,把该集群的权限授予其他的用户B,那么,用户B可以访问该集群的数据库, 可以监控该集群,但是不能进行启动、停止、删除与权限管理的操作。

点击集群列表最右侧的”权限”,会弹出权限管理的页面,左侧为拥有权限的用户(没有列出包含根用户与创建者,但是他们有所有该集群的权限),右侧为没有权限的用户,根据您的需求可以给 相应的用户授予或者收回其权限。

  • 集群启停

集群的启停,因为私有云目前只支持物理机部署,所以,私有云不支持集群机器的启停,只有公有云支持集群的启动、停止。 在集群列表页面,点击相应集群的最后一列的”停止”按键,可以停止,停止后的集群将不收取计算费用,但会继续收取存储费用,数据不会丢失; 点击”启动”可以启动,启动后的集群收取计算与存储费用。

  • 集群删除

公有云与私有云都支持删除集群。在集群列表页面,点击相应集群的最后一列的”删除”按键,可以删除集群。在公有云,删除集群后,相应的虚拟机与磁盘都 将被删除,您的数据将丢失;在私有云,删除集群后,只是从相应的物理机、虚拟机中把相应的服务卸载,数据也会丢失。

  • 服务启停

在集群监控页面的”集群节点”部分,显示了集群内部部署的节点以及服务列表,勾选你要操作的节点和角色,然后点击右上角的”启动”、”停止”、”重启”, 如果想对整个集群的服务进行启停操作,有两种方式,第一种,将所有节点和角色都勾上。第二种,是在”集群列表”中的操作,是对整个集群的服务启停。

  • 集群扩容

当您点击”扩容”按钮时,会弹出可扩容的机器,您只要选择您想扩容的机器,点击确定就行。

  • 集群监控

如图所示,点击OushuDB集群列表内集群的名称,可以在列表下面显示该集群的信息,包括集群详情、部署的服务的状态、集群的CPU状态、内存状态、 磁盘IO、网络IO等。这些信息是集群内部所有节点的信息汇总,代表整个集群的状态。

  • 节点详情

在集群详情一栏的左下方,有显示集群内部所有节点的下拉菜单,选择相应的节点,点击”查看节点详情”,会弹出节点详情页面,节点详情页面显示的是 该节点内部的详细的监控数据,包括CPU、内存、磁盘、IP、部署的服务等信息,如下图所示。

  • 集群安全

该功能只对OushuDB集群有用,”安全”是去获取OushuDB集群的pg_hba.conf文件,当您修改配置文件之后,点击”应用”就会重新加载OushuDB集群,你修改的配置就 会生效。

  • 集群权限管理

角色角度的权限管理暂时没有实现。权限管理需要到具体的资源里面操作。比如集群的权限,需要到集群的列表页面,点击权限,选择想要赋予的操作权限与赋予给的角色来赋权。

权限赋予给角色之后,相应的拥有该角色(可以是继承自用户组)的用户登录之后,即可进行相应的操作。

注意:Lava的用户/角色与OushuDB集群的用户/角色将不再打通,是分开的两套独立的用户系统。如果需要做OushuDB集群内部的权限管理,需要在OushuDB内部创建用户 分配权限,然后用相应的用户创建数据源,再把相应的数据源的权限赋予给相应的角色即可。