可视化安装#

前提#

如果您希望通过可视化安装方式部署Spark，请按照本章节步骤安装。

Spark将要安装的机器需要通过机器管理添加到skylab中，如果您尚未添加，请参考：注册机器。

Spark可视化安装需要依赖Zookeeper，HDFS集群。Zookeeper用于支持Spark HA，HDFS集群用于存储历史数据。

Zookeeper安装部署请参考：Zookeeper 安装。

HDFS安装部署请参考：HDFS 安装。

安装#

  1. 点击Skylab顶栏中 自动部署 进入自动部署模块

    image

  2. 点击自动部署模块侧栏中的Spark大数据组件

  3. 点击右侧页面中的新建Spark集群按钮

    image

  4. 选择安装服务节点，主节点可选多个，计算节点至少3个，历史节点1个

    image

  5. 选择Zookeeper集群,如果没有Zookeeper集群，请参照Zookeeper 安装。

    image

  6. 选择HDFS集群,如果没有HDFS集群，HDFS 安装。点击下一步

    image

  7. 修改配置

    image

  8. 部署确认

    image

检查状态#

安装完成查看服务列表，检查所有角色状态是否正常 image

常见操作#

  • 停止集群

    image

  • 启动集群

    image

  • 重启集群

    image

  • 刷新集群状态

    image

  • 查看部署日志

    image

  • 删除集群

    image