SCI论文(www.lunwensci.com):
摘 要:当前企业获取信息渠道来源广,这些信息的核心就是指标,指标对领导的决策有重要的影响,因此保证指标的准 确性和及时性成为企业管理的必要举措。但是目前企业指标管理工作存在不少问题。因此企业急需一套指标管理系统来确保数 据流程可追踪、可反馈,实现 :数据可控、流程简洁、管理规范。
关键词:指标管理 ;需求分析 ;分析维度 ;指标管理模型
Demand Analysis of Enterprise Data Management System
WANG Xiaomei
(Renmin University of China, Beijing 100000)
【Abstract】: At present, companies have a wide range of information sources. The core of this information is indicators. Indicators have an important influence on leaders decision-making. Therefore, ensuring the accuracy and timeliness of indicators has become a necessary measure for corporate management. However, there are many problems in current enterprise index management. Therefore, enterprises urgently need a set of index management system to ensure that the data process can be traced and feedback .In short: Controllable data, simple process, and standardized management.
【Key words】: index management;demand analysis;analysis dimension;index management model
1 企业指标系统建设研究意义及背景
1.1 研究意义及背景
伴随科技的进步,企业不断的扩张自己商业版图, 会衍生出各项业务,这些业务也会伴随这很多系统,而 这些系统之间往往不是独立存在的,系统之间会存在许 许多多的接口,如果将这些系统(用节点表示)和他们 之间的关系(用线表示)用一张图画出来,那将会像一 张大网,但由于各个业务面向的业务场景不同,每个业 务都会从对自身有益数据出发,会导致 :
(1)指标定义名称一样,但是开发逻辑不同,导致 取数时出现混乱 ;(2)指标的重复开发,在 A 业务线开
发了指标 a,同样在 B 业务线也开发了指标 a,那么可 能存在多条业务线开发相同的指标 ;(3)指标开发逻辑 未留存,导致数据开发在开发指标时,需要找相应的开 发,询问确认统计口径、数据源表、处理方式等,导致沟通成本高 ;(4)指标因各个业务线单独维护,尚未形成 应用闭环;(5)随着业务的发展,原先的系统流程已经 不能满足企业对指标的需求。
因此在以上的背景和种种原因之下,就需要有一个 标准和统一的规范,减少沟通成本和重复建设,建设一 个这样的指标系统以及管理指标体系的平台具有良好的 企业意义,社会意义与经济意义。
1.2 指标管理系统难点
1.2.1 功能设计难点
当企业需要指标管理系统时,说明企业已发展到相 对关键的阶段,必然会有多部门,多业务线,多业务量的情况,且关联性大,需要时效强,操作人员多,但系 统需要设计的简单便捷。
1.2.2 数据库设计难点
对数据平台高要求体现在 :超级数据量,数据之间的关联性、紧密性非常强,时效性要求非常高。
1.2.3 安全性难点
很多企业都将数据指标作为公司的重要资产,在对 内和对外都有极高的价值,因为在设计系统时需要考虑 系统安全性、功能安全性、数据安全性、应用安全性和 网络安全性。
2 系统概述
2.1 系统定义
什么是指标管理系统?指标管理和指标服务是提供 指标管理模块的两大核心内容 [1]。指标管理包括指标规 则的定义、指标正常发布使用和后续指标上线的维护, 指标服务提供包括指标查询、基础指标多维报表报表的 生成以及为其他系统提供的对接接口。因为公司不同业 务线指标较多,可能会有交叉指标,所以在数据仓库建 设阶段,需要将指标的组成部分分解耦拆分开来,并在 逻辑表中进行结构化处理。再此基础上,按照一定的业 务规则进行自由拼接,实现自定义指标。
2.2 建设目标
建设指标管理平台,目标是将企业内部指标口径统 一化。统一管理指标,实现数据共享和互联互通,系统 建设目标主要有以下三个方面 :
2.2.1 全面覆盖公司业务
一体化指标管理可以完整的看相关指标,是一个相 对规范、统一并且高效的信息管理平台,为提高企业决 策效率作出较大贡献。
2.2.2 满足多层级应用
对于企业管理层,可以更加便捷的查看企业的核心指 标和相关指标,针对指标出现的异常及时作出决策 ;对于 企业执行层,可以减少每日无效劳动,减少低能的统计工 作,可以释放基础资源,让他们去做更有价值的事情 ;对 于企业于合作商,指标管理平台提前整合了数据,为他们 提供相应的接口,不仅节约了资源,也能够为系统的开发 节约一定的时间成本,大大提高了工作效率。
2.2.3 适应企业未来发展
一体化指标管理可以较好的适应企业后续业务扩 展,并及时响应业务指标扩展。
2.3 系统优点
构建企业指标管理系统,优点如下 :指标统一 :杜 绝因为人为因素、向上择优汇报而造成数据不统一的情 况 ;指标关联性强 :可以通过查看某一个指标而将其相 关性大的指标都拿出来看 ;操作简便 :不同类型的使用 人员只需几步就可以完成数据的配置和查询 ;便于管 理 :只需要做好流水线管控即可 ;资源的高度整合。
3 软件需求
3.1 功能需求
3.1.1 指标定义
指标定义主要包括单一指标定义、符合指标定义、 语法校验、指标内容相同检验。
3.1.2 指标发布
指标发布是对指标发布的管理,主要分为 :发布 前―发布申请,发布中―审核发布,发布后―发布查询。
3.1.3 指标服务提供
指标服务提供主要是方便其他业务部门甚至其他相 似业务的公司对指标的调用申请,其中包括 :指标服 务、指标服务调用。(同时平台可以对这些指标做调用 频次记录,可检索出哪些指标调用次数最多,哪些指标 属于鸡肋指标)。
3.1.4 指标维护
当平台上线后,需要进行指标维护,随着大家的使用, 需要进一步做迭代。比如低频次调用指标需要做剔除,前 期上线的指标因为口径不清晰需要进一步做修改等。
3.1.5 指标规范
指标规范是平台建设需要做一些规范,例如规范命 名 :规范维度和量度命名,确保唯一性,命名规则要尽 量做到明确、通用、易懂。以便于后续管理、拓展,其 中包括但不仅限 :规范指标分类、指标代码使用统一开 发规范、指标元数据管理和指标权限管理等。
3.1.6 平台监控
平台监控是对平台的监控,其中包括 :总控制台、 指标监控、性能监控。
3.2 指标定义规范
指标定义原则 :引入面向对象思想构建指标,封装 指标的各种属性数据,构成一个指标对象,而我们只需 要对该对象进行操作,生成指标实体,运行得到结果。
指标因子对象 :构建统一指标体系,对于指标因子 的元素设定,应用统一规定的标准规则,各类指标因子 元素定义包括了指标因子类别、指标因子名称、指标因 子含义以及定义策略、数据类型、必备性、重复性、设 置规则、作用、默认值等因子元素进行统一规定。
3.3 指标定义流程
3.3.1 梳理并定义产品中的实体,定义实体表
所有的业务活动中,都可以抽象成 2 个概念,实体和关系,围绕这两个概念进行建表,就可以设计出数仓 的结构。
实体,从业务角度讲,是为了满足分析的需要,抽 象出来的概念,从业务中拆分出一个个实体,可以是现 实存在的业务对象,如用户,商家,商品,或者所找的对 象现实中并不存在,如虚拟的业务对象,活动,会员等。 实体是指依附的主体,是我们分析的一个对象,每一个 实体,都应该有一个实体表,比如用户表,商品表。实 体的存在是为了业务分析,作为分析的一个筛选的维 度,拥有描述自己的属性,本身具有可分析的价值。实 体表就是为做业务分析和筛选,比如说,现在定义一个 指标,年龄 >29 岁的用户数,那么就可以直接在用户表 去筛选,如果说,定义的指标,库存低于 10 的商品的 用户数,那么就需要一个商品表,与事件关联,并且描 述属性里有库存的字段。
关系是什么?我们把不同实体间的某种行为、关联 称为关系,如行为关系,包含关系。如何定义实体表、 关系表?数据库的实体,是为了操作失误,而数据仓库 是为了分析。所以,所以我们定义实体表的思路是是否 要作分析。
3.3.2 分析实体间的行为,进行事实表和维度表的设计
数据仓库是重点关注数据与数据之间的业务含义, 如不同统计口径与分析方式下数值差的意义。简单说是 为了分析。为了保证分析结果的准确和有效,必须要对分析口 径进行细化分解,精准定位到影响因子。定义分析角度 和影响因素的方式有 :维表和度量值。
比如描述事物的一个角度,就是维度,用于分析, 对真实情况所需要的各种环境要素进行还原,如何下单
事件中的时间维度,地理位置维度,网络环境维度。
维度表是维度属性的集合。是分析问题的一个窗 口。是人们观察数据的特定角度,也可以当作考虑问题 时的某一类属性,属性的集合构成一个维。
事实是事件发生时的度量值,也就是可以被量化的 内容,可以理解他就是在现实中发生的一次操作型事件,我们每完成一个订单,就会在订单中增加一条记 录,图中的用户表、商家表、时间表这些都属于维度 表,这些表都有一个唯一的主键,然后在表中存放了详 细的数据信息
如何定维度和事实如何建模?
首先梳理出产品的所有业务事件,并逐一定义每张 事实表,记录在业务事件中的所有度量值,并通过外键 和维度表进行关联。先说星型模型,星型模型就是我们一种典型的维度模型 [2]。我们在进行维度建模的时候会 建一张事实表,这个事实表就是星型模型的中心,然后 会有一堆维度表,这些维度表就是向外发散的星星。
比如,分析电商中最典型的用户购买行为 :一次 购买行为的发起需要有这几个个体的参与 :售卖的商 家、购买用户、购买商品、用户购买时间、用户购买金 额。一个用户可以发起很多次购买的动作。为了使查询 和分析更加方便,下一步是建立多维事件模型,多维数 据模型是为了满足用户从多角度多层次进行数据查询和 分析的需要而建立起来的基于事实和维的数据库模型, 其基本的应用是为了实现 OLAP(Online Analytical Processing)。其中部分维度需要回到事实表,然后通 过主键连接其他实体表。
3.3.3 定义原子指标与派生指标的生产逻辑
首先对原子指标和派生指标做各区分
..原子指标 :和度量含义相同,基于某一业务事件行 为下的度量,是业务定义中不可再拆分的指标,具有明 确业务含义的名词,如支付金额。原子指标描述的其实 是一种指标的类型,比如订单交易金额、成交订单数、 PV、UV 等。但是仅仅一个原子指标是不能直接取数的。
哪些指标是业务方更关心的?是有实际业务含义, 可以直接取数据的指标。比如店铺近 1 天订单支付金额 就是一个派生指标,会被直接在产品上展示给商家看, 但是这个指标却不能直接从数仓的统一中间层里取数 (因为没有现成的事实字段,数仓提供的一般都是大宽 表)。需要有一个桥梁连接数仓中间层和业务方的指标 需求,于是便有了派生指标。
从上述的例子中可以看出派生指标 = 维度 + 原子指 标 + 修饰词。当维度,原子指标,修饰词都确定的时候就可以唯一确定一个派生指标,同时给出具体数值。店 铺近 1 天订单支付金额中店铺是维度,近 1 天是一个时 间类型的修饰词,支付金额是一个原子指标。
业务方制作每一个派生指标都是通过选择维度、原 子指标、修饰词这三种元数据来进行定义的,相对于使 用名称来区别不同指标,更可以保证指标的唯一性。如果 2 个派生指标是不同的,那他们的组成部分一定会有区 别,或是不同维度,亦或是不同原子指标、不同修饰词。
派生指标 = 维度 + 修饰词 + 原子指标。
维度 :观察各项指标的角度。
修饰词 :维度的一个或某些值,比如维度性别下, 男和女就是 2 种修饰词
修饰词有两种 :一种是日期修饰词,一种是聚合修 饰词。
3.3.4 通过指标管理平台对指标进行规范化生产
在规范指标生产这一步,由派生指标 = 维度 + 修饰 词 + 原子指标,为结构化生产派生指标,所以有以下功 能模块 :
数据源同步 :标库中指标数据的来源一般都是从 DW 库,数仓统一中间层的表中通过计算得来,为保证 指标的正确唯一性,指标库最基础的元数据、原子指标 信息等都是使用数仓统一中间层。维度管理 :维度是观 察事物的角度,比如店铺维度下近 90 天支付金额中,店 铺是一个维度。在 SQL 中一般是 group by 的部分。数 仓定义好维度以后需要设置维度的维度主表和关联的事 实表。原子指标管理 :原子指标和度量含义相同,基于 某一业务事件行为下的度量,是业务定义中不可再拆分 的指标,具有明确业务含义的名词,如支付金额。修饰 词管理 :修饰词是维度的某一些特殊的值。对应 SQL 中的 where 过滤条件。派生指标管理 :派生指标 = 维 度 + 原子指标 + 修饰词。当维度,原子指标,修饰词都 确定的时候就可以唯一确定一个派生指标,同时给出具 体数值。
3.4 指标分类
指标的分类一般是根据公司的业务进行划分,一般 主要通用的就是 :统计报表类、财务类、分析类 ;其中统计报表类 :渠道类、采购类、客户类、人力资源类、投资建设类、其他类。财务类 [3] :收入类、支出类、资产类。
分析类 :指标相关性分析、预测分析等。具体应用可以根据自己实际所处的场景根据业务线 划分。
4 总结与展望
4.1 总结
以上描述的企业指标管理系统是基于我在实践工作中总结所得。系统建议采用大数据和 java 语言开发, 以满足大数据量计算和良好的可移植性,便于工程上的 应用。依据本系统的分析研究,目前该软件已完成设计 与实际应用,功能项基本覆盖了使用要求。
在实践过程中,本人的主要工作包括 :研究分析指 标管理系统在国内外的发展趋势,根据内部业务场景和 业务特点设计系统 ;分析功能需求,设计功能原型 ;拉 通其他部门人员,跟进版本迭代和验收交付。
4.2 展望
经过业务系统一个月的使用测试,本系统已经顺利 通过测试运行阶段并且正式上线使用,但是由于业务线 还在不断拓展,业务指标还会再增加,所以该系统后续 还需要维护 ;另外因为参与设计和开发的人员都是初次 接触,所以系统整体还是有很多优化空间。在后续的研 究中,我将积极发现新问题并进一步完善系统。
参考文献
[1] 李超,谢坤武.软件需求分析方法研究进展[J].湖北民族学院 学报(自然科学版),2013,31(2):204-211.
[2] 刘颀桓.基于数据仓库的商业银行报表系统基础数据分析设 计[J].企业技术开发,2011,30(23):127-128.
[3] 官佳伟.财政指标管理系统的研究与开发[D].贵阳:贵州大 学,2019.
关注SCI论文创作发表,寻求SCI论文修改润色、SCI论文代发表等服务支撑,请锁定SCI论文网!
文章出自SCI论文网转载请注明出处:https://www.lunwensci.com/jisuanjilunwen/34331.html