企业业务系统实用精益化运行监测与分析研究
孙煜华,张 雨(广州供电局有限公司信息中心,广州 510620)
摘要:业务系统实用精益化运行监测与分析是对关键业务应用的监测和分析,研究覆盖业务应用的有用性和可靠性指
标,在降低运维的投入和工作量的同时还能提供更优质的服务,为用户带来更多的商业利益和客户体验。考虑选取电力行业正在运行的业务系统作为实用精益化运行监测与分析的目标业务系统,开展版本检测报告、指标管理、数据采集管理、实用精益化报告。
关键词:实用化;量化监测;大数据d o I:10.3969/J.ISSN.1672-7274.2019.02.015
中图分类号:TM7 文献标示码:A 文章编码:1672-7274(2019)02-0052-04
1 引言
近年来随着技术的发展,基于网络旁路数据监控的业务系统监控方式得到了行业内运维者的广泛认可:这种方式具有不需要对业务系统进行改造、无运行风险、实时性高、部署快速等传统应用管理方案所不具备的优势。
业务系统的量化需要通过对业务指标数据的分析来实现。常用的业务监测指标有:日均登录用户数、日均用户活跃率、日均访问量、日均业务处理数量、业务平均耗时、应用模块的有用性和可靠性、业务告警数等指标。
通过监测的指标反映系统实用化程度情况,真实客观快速梳理业务应用组件之间的逻辑访问关系,根据组件之间和告警的逻辑关系,自动定位问题节点;多维度统计视图,深入分析,逐层解析问题,从统计数据追踪到单笔交易,深入问题根源,有效利用现有的数据,为高层管理决策提供服务,同时也为行业的战略发展目标和市场策略的制定提供了依据,从而提高了企业的风险控制能力和经营决策能力以及竞争能力。
2 电力行业业务系统运行现状
业务架构作为电力公司企业架构(EA)的重要组成部分,其描述了业务域、一级业务分类、二级业务分类、业务流程以及业务分类之间的协作关系、业务流程之间的协作关系,是信息化系统实现的重要参考。
电力公司业务系统设计遵循电力公司企业架构,系统业务模型、需求分析和详细设计基本遵从了EA的业务架构,但系统实用化后面临以下问题:一是应用系统的最终实现与EA的业务架构的映射缺少有效的版本检测应用;二是无法实现对业务系统各应用模块的实用精益化管理。业务系统实用精益化运行监测与分析对于业务系统持续改进和优化有非常重要的意义。
3 电力业务系统实用精益化运行监测与分析研究
3.1 研究路线
研究路线分两个维度:系统运行和部署维度、用户行为以及业务逻辑维度。一是系统运行和部署维度:需要收集业务部署机器的资源状况,中间件和数据库软件的运行状态,以及业务系统软件部署文件的变化。二是用户行为以及业务逻辑维度:需要从数据流量中分析和统计业务对象(单据)的数量和状态变化,业务平均耗时和业务环节超时数量,需要统计用户登录和退出以及各个模块的使用状况。
对于这两个维度的需求,我们分别采用不同的解决方法。一是系统运行和部署维度:在软件
部署和运行的各台机器上部署Agent服务,agent收集CPU和内存资源消耗,中间件和数据库运行状况,业务系统部署文件列表,数据库Schema等数据,并上报到Master服务,master服务将数据入库,并在Web页面展示。实现这部分功能的软件系统叫做运行监测子系统。二是用户行为以及业务
逻辑维度:使用TCP数据复制和分流的方法,将用户访问系统的数据流量导入到监测系统中。系统
从数据流恢复出Http日志(请求和响应),进而从
Http请求和响应中抽取出业务数据和用户行为数据,并将数据入库。
(1)业务数据:用户进行业务对象的查看和修改操作时,业务数据会被包含到Http的响应文本中。Daas系统能够从http响应中抽取出格式化的业务数据。
(2)用户行为数据:从Http日志中还可以抽取用户登录、退出以及页面访问等数据。这些数据可以统计用户在线时间、模块使用状况等指标实现这部分功能的软件系统叫做日志分析系统。
系统由多个功能模块组成,包括用户日志获取(嗅探器)、机器信息获取(探针)、业务运行监测、实时日志分析、指标统计和展示、报警、审计,个
人中心、系统管理。这些模块的结构如图1所示:
系统硬件部署架构采用网络监控软件旁路模式,就是通过端口镜像来进行监控。旁路监听的优势主要体现在:旁路部署方案是对当前网络影响最小的监控模式;充分利用已有硬件的功能,部署方便,不会影响现有的网络结构;不会对网速造成任何影响。旁路模式分析的是镜像端口拷贝过来的数据,对原始数据包不会造成延时;旁路监控设备一旦故障或者停止运行,不会影响现有网络;旁路部署方案一样可以对上网行为进行控制。
旁路监控系统,通过接入一个非侵入式的设备进行监测,能在不改造原有系统下实现准实时,不占用生产环节资源,对所有时间、所有用户和所有交易进行监测的能力。通过这套系统能建立一套有
效的监控系统,对IT的各个系统进行监测,可以把IT监控划分为网络监控、服务器监控、数据库监控
和应用程序监控等;实现对企业的业务应用进行监测和优化,提高企业应用的可靠性和质量,保证用户得到良好的体验,降低IT总拥有成本(TCO)。
采用网关或负载均衡等设备,从业务系统服务器流量入口处将服务器接收的数据全量复制,非侵入地监控应用系统的用户访问行为,用于精确分析
用户行为特征,为业务系统优化再将TCP/IP协议数据转换封装成Http数据包,然后通过数据分析等工
作解析出每个业务流程环节的用户动作,为实际应用提供统计数据依据,并可视化展现。
3.2 研究内容
主要开展版本检测报告、指标管理、数据采集管理、实用精益化报告等方面的工作。
(1)业务系统版本检测。以持续扫描和探测业
务系统,获取业务系统的当前最新状况,将业务系统功能设置与期望状况之间的差异在时间维度上进行展现,从而可以观察到业务系统建设的当前状况和历史发展,为公司信息系统的建设和发展提供参考。
(2)业务系统应用模块实用精益化管理。随着
信息系统的不断建设和发展,业务系统的功能越来越多。这些业务系统需要持续地维护和改进,以提高业务办理的质量。为了对业务进行维护和改进,我们需要了解业务模块被使用的状况。对于被频繁