指标开发
本页目录
指标开发#
指标开发模块包括维度建模和指标计算两大部分。维度建模是指:当我们开发指标之前,可以先根据业务的实际过程定义相应的维度表和事实表;指标计算是指:基于维度/事实表,我们可以定义出普通指标、衍生指标、汇总指标、SQL指标。并且可以配置指标的调度、上线、审批等一系列全生命周期管理。
体系规划#
在指标体系模块,我们可以给后续的三个模块【维度管理】、【事实管理】、【指标管理】设置文件夹体系。
这样做的好处是让系统中的维度、事实及指标都按照正规的体系做好管理。以免出现数据管理杂乱、”同名不同数据“或”同数据不同名“等情况出现。建议按照建模理论,根据实际的”数据域“建立树形文件夹结构,如下图所示。
指标体系规划模块管理标准指标存放位置的文件夹体系。
新建指标体系文件夹#
鼠标悬浮在文件夹上,右侧会出现新建节点按钮,点击新建节点按钮可以在当前文件夹内创建一个子级文件夹。
编辑指标体系文件夹#
鼠标滑过需要编辑的体系文件夹右侧的“···”按钮,点击修改节点按钮,实现体系文件夹名称及描述的修改操作。
删除指标体系文件夹#
鼠标滑过需要编辑的体系文件夹右侧的“···”按钮,再点击删除节点按钮完成删除功能。
移动指标体系文件夹#
鼠标长按选中一个待移动体系文件夹,即可拖入任意指标体系内的目标位置。
管理指标体系文件夹权限#
鼠标滑过需要编辑的体系文件夹右侧的“···”按钮,再点击修改节点权限按钮进行权限管理。
选择该体系文件夹的权限赋予系统内创建的角色及其他用户,配置完成后,点击保存按钮完成权限配置。
维度体系规划#
维度体系规划模块管理维度存放位置的文件夹体系,具体功能及操作与指标体系规划类似,详见 指标体系规划。
事实体系规划#
事实体系规划模块管理事实存放位置的文件夹体系,具体功能及操作与指标体系规划类似,详见 指标体系规划。
维度管理#
维度是人们观察事物的角度,例如时间、地点、地区等描述性的概念,帮助人们从多方位多角度去分析数据。创建维度,一般包含单一的主键列,用以确定实体的唯一性。在维度管理模块中,包含新建维度、修改维度、维度查询、详情查看、数据预览等功能。
新建维度-新建普通维度#
在维度管理页面的左侧,可以看到之前创建的体系结构目录。可以在任意目录下创建所需的维度,鼠标悬浮在目录节点上,点击“加号”图标,会出现如下弹框,选择想要创建的维度类型。
步骤1,选择创建普通维度之后,第一步先填写维度的基本信息如:中文名、英文名、描述。英文名默认以”dim_”作为前缀,方便后续识别。
步骤2,选择维度表的来源,可以有三种方式:普通表、数据工厂、人工建表。
数据集:可以从【数据准备】模块选择数据对象来作为维度的来源
普通表:系统会自动列出“系统管理”选择的数据来源中的所有表
数据工厂:若数据库已经存在的表无法作为维度表的来源,需要经过一定的数据处理操作才能作为维度表的来源,那么可以选择数据工厂的目标表算子
人工建表:可以通过自定义字段的名称、类型、主键的方式来创建维度表
维度表的来源确定之后,可以在右侧选择需要的字段并填写中文名,以及确定主键列。点击下一步时,系统会自动检查主键是否唯一。
步骤3,设置关联。鼠标悬浮在非主键列上方,会自动出现关联按钮,点击后会弹出窗口提供要关联的表。如果表比较多的话,可以点击最大化来查看。
注:维度表有多表关联的话,代表后续会与事实表形成雪花状模型;维度表是单表的话,代表后续会与事实表形成星型模型。
步骤4,填写调度配置。可以设置调度的开始时间、结束时间、时间间隔以及失败重试参数。
步骤5,将之前步骤的配置参数归纳总览,如检查无误,即可点击”新建维度“按钮。
新建维度-层级维度#
若某一张表里的几个字段,本身存在层级的关联,则可以创建为层级维度。例如”地区表“里有三个字段,分别是”地区代码“、”省“、”市“。这样省和市两字段是存在层级含义的。在后续的建立报表的过程中,可以利用到这里所设置的层级维度,从而实现钻取功能。即点击某个”省“,则展开此省下属的所有市的数据。
步骤1,参照 新建普通维度-步骤1,填写基本信息
步骤2,参照 新建普通维度-步骤2,选择数据来源
步骤3,设置层级。可以逐层点击“加号”,从上至下选择每层的列
步骤4,参照 新建普通维度-步骤3,设置关联关系
步骤5,参照 新建普通维度-步骤4,配置调度
步骤6,参照 新建普通维度-步骤5,信息总览
基本信息#
基本信息包括元数据信息、字段信息、关联关系、调度配置等。详情页面同时也提供了编辑功能,可以方便的修改维度名称、增加列、编辑列、设置关联关系等
数据预览#
高级搜索:点击数据预览标签可以预览维度,可以利用高级搜索,按不同列自定义搜索数据。
添加数据:点击右边“添加数据”图标,右侧弹出“添加数据”的弹框,在弹框中输入维度列的字段内容进行添加操作。
编辑数据:点击右边“编辑数据”图标,可以对任意数据行进行编辑操作。修改完之后,点击“保存修改”图标,可以选择数据修改模式,替换原数据还是保留原数据。
替换原数据: 使用新值直接替换维度行中属性的旧值,不保留维度行属性变化的历史记录。 注: 之前根据该维度属性计算完成的指标可能需要重新计算。
保留原数据: 增加新行实现属性修改,保留了维度行属性变化的历史记录。指标中依据不同时间,使用不同的维度属性,从而实现历史拉链。 注: 此模式下,行生效时间和行失效时间的修改无效
事实管理#
事实表一般用于描述业务过程,例如商品购买清单、店铺销售详情等。后续指标的开发以及计算也是基于此处的事实表完成的。和维度表一样,事实表也需要保存在相应的体系结构下,用于清晰表明事实表所属的业务过程。
新建事实#
鼠标悬浮在体系结构节点上,点击右边的“加号”图标,进行事实表的添加:
步骤1,填写事实表的基本信息,如中文名、英文名、描述等字段。英文名以“fact_”作为前缀,可以和维度表清晰的区分出来。
步骤2,选择事实表的来源,事实表的来源和维度表一致,有三种方式:普通表、数据工厂、人工建表。需要为每个所选择的列设置属性类型:维度属性、度量属性、时间维度、其他属性。
普通表:系统会自动列出“系统管理”选择的数据来源中的所有表
数据工厂:若数据库已经存在的表无法作为维度表的来源,需要经过一定的数据处理操作才能作为维度表的来源,那么可以选择数据工厂的目标表算子
人工建表:可以通过自定义字段的名称、类型、主键的方式来创建事实表
步骤3,参照 新建普通维度-步骤3,设置关联
步骤4,参照 新建普通维度-步骤4,调度配置
步骤5,信息总览。将上述4步的配置信息汇总到一起进行展示,如确认无误的话,点击下方“新建事实”按钮,完成事实表的创建。
事实详情- 基本信息#
在事实管理页面,点击事实表的名称即可进入事实表的详情页面。和维度表的基本信息页面相似,包括事实表的元数据信息、字段信息、关联关系、调度配置等信息的展示
事实详情- 数据预览#
在数据预览页面,可以利用“高级搜索”功能,针对不同的列进行搜索功能
指标管理#
指标管理模块包含新建指标、指标预警、指标审批、指标调度、指标数据下载、指标管理等功能。
个人指标#
用户在个人指标内新建指标,个人指标内的指标仅有指标创建者本人可见,其他人不可见。个人指标可以使用类似指标体系规划的功能来管理个人指标的体系结构。
配置完体系文件夹后,点击待新建指标的文件夹的右侧点击“+”按钮,开始指标的创建工作。
标准指标#
个人指标可以通过多级审批方式进入到标准指标体系,对应的标准指标可以通过权限管理分享给其他用户使用。
新建指标#
本系统支持4种建指标的方式,分别为:
普通指标
衍生指标
汇总指标
SQL指标
普通指标#
普通指标是最常见的指标,即通过一张事实表及一或多张维度表,结合指标口径、业务限定逻辑算出一张指标数据表。例如我们有一张对公贷款合同的事实表、客户等级的维度表,来计算不同等级的客户按月计算产生的合同数。
选择事实表#
指标必须基于一个业务过程中产生的事实表来进行计算,平台会自动展示出之前创建完成的事实表的体系结构可供选择。同时,可以根据事实名称进行搜索,方便定位。
配置指标#
当选择完事实表之后,就需要按照业务需求选择合适的 维度、度量、限定条件、统计周期等信息。通过在这一步的配置,可以实现批量生产多个指标,左侧默认显示第一个要生成的指标“指标1”,然后通过几个标签页对其进行配置;也可以点击左下角的“添加”按钮,配置“指标2”。当然这些指标都会使用第一步所选的那张事实表。
指标的基本信息包括:中文名、英文名、精度、单位、是否监管等属性。
维度配置,可以选择事实表中的某个维度字段,也可以选择所关联的维度表中的字段。在此可选多个维度。在此可选择是否开启时间维度过滤。
度量配置,选择事实表中的度量字段,并选择一个聚合函数;内置的聚合函数包括:计数、最大值、最小值、平均值、求和。如果聚合方法比较特殊,也可以利用自定义SQL实现。
统计周期,系统会自动给出事实表中的时间字段,在周期中选择希望统计的周期。注,此处可以添加多行,选择不同的周期,例如添加三行,分别选择年、季度、月,则系统会自动生成三个对应的指标,同时可以添加指标的同/环比信息,系统会自动计算指标的同环比。
限定条件,可以通过页面上强大的条件组合控件,配置复杂的业务限定。点击“且”可以自动转换成“或”。
调度配置#
配置指标定时调度更新数据配置,配置调度任务的有效时间,第一项是开始时间,第二项为结束时间。
配置任务有效期内的具体执行时间,例如本次配置为每月最后一天22点自动调度执行任务。
此处亦可选择自定义直接输入cron表达式。
当调度更新指标的数据时,如果需要同时更新维度的最新数据,则可在是否调度依赖前打钩。指标在调度更新数据时便会判断维度数据更新时间是否在允许的滞后时间内,若超过滞后时间,系统便会先更新维度数据,再更新指标数据;不允许维度数据滞后时,输入0秒即可。
失败重试,当系统调度更新指标数据任务失败时,则根据下面参数配置进行重试。间隔时间项为任务失败后间隔多久再次重试。
指标预览#
展示出前几步所配置的信息。如果在第2步配置了多个指标或选择了多个时间期,那么这个页面会列出多个指标。点击试算可以立即计算指标并预览数据。
此处有动画如下,代表系统正在计算指标。
试算后给出示例数据,确认数据正确后,点击新建指标按钮完成普通指标的创建过程。
衍生指标#
衍生指标可以通过对一个或多个普通指标进行加工,衍生出更复杂的指标。如果是利用多个指标进行组合衍生,则要求这些指标拥有完全一致的维度,这样才可以进行计算。
选择指标#
我们在左侧选择一个指标,则右下侧系统会自动过滤与所选指标拥有同维度的所有指标,这样就可以很方便的选出可以共同计算的指标。注意:未运行过的指标是不可选的。
配置指标#
衍生指标使用编辑器编辑计算逻辑,我们可以点击需要参与计算的指标或需要用到的函数或运算符,手动编辑公式即可。
例如,根据需求编辑好如下计算逻辑。
根据需求,开启/关闭【指标空值自动转换为0】功能。
选择需要添加限定条件的指标,点击编辑限定条件,不需要时可点击清除该指标上的限定条件。
调度配置#
与普通指标调度配置方法一致,详见普通指标调度配置方法
指标预览#
展示我们配置衍生指标的详细信息,此处客户可以修改指标名称、精度、描述、限定条件等信息,编辑完成后点击新建指标,完成衍生指标的创建。
汇总指标#
汇总指标的意思是,将多个同维度的指标汇总到一张表中,方便同时查看多个度量值。
选择指标#
与衍生指标类似,选择出多个同维度指标。
指标预览#
预览指标详情
这里我们会给出ER图,便于理解。试算及确认后点击新建指标按钮完成汇总指标的创建。
SQL指标#
SQL指标,可以通过编写SQL语句或存储过程,实现一些比较复杂或者特殊的指标。也可以直接选择一张本身就是存储着指标的表,导入到本指标平台中。这种情况一般适用于某些用户在部署本系统之前,已经有一些SQL来生成指标。
填写SQL#
左侧目录树上方选择数据源
本页面左侧提供了系统配置的数据源内的数据库表信息,方便用户查阅。用户可以在右侧输入框内填写SQL或存储过程。
填写完SQL后,点击右上角运行按钮,预览指标结果。
基本信息#
填写SQL指标基本信息。
选择字段#
用户可以对SQL查询出来的结果进行字段筛选,保留想要的字段,配置每个字段的维度/度量属性信息。
调度配置#
与普通指标调度配置方法一致,详见普通指标调度配置方法
信息预览#
查看指标的配置情况,试算确认无误后,点击新建指标完成SQL指标的创建。
指标查询#
当建立好了指标体系之后,我们就可以通过左侧的指标体系树找到想查阅的指标。系统会给出详细的信息,包含指标的基本信息,相关的维度、计算逻辑、调度配置信息、调度历史。
点击“数据预览”标签,即可查看当前用户有权限的指标数据。可以利用高级搜索来过滤指标数据,也可下载CSV数据文件。
指标的维度规则权限配置#
在指标详情页面点击维度规则权限tab,可以看到如下配置页面。可以给相应的用户/角色配置维度规则,达到指标数据行级别的权限赋予。
点击添加按钮,进入维度规则权限配置页面。
指标收藏#
指标收藏功能可以帮助用户快速找到常用指标,收藏指标时点击列表中待收藏指标的收藏按钮即可。
收藏后的指标在体系文件夹的最上面,方便用户查找及使用。
指标审批#
点击指标列表上的审批按钮提交个人指标到标准指标的审批。
可以看到本次审批的流程,选择存放在标准指标中的位置,填写申请说明即可提交审批申请。
指标启用与停用#
标准指标支持启用和停用,普通用户只能看到已启用的标准指标