一种基于大数据的智能运维管理系统及方法与流程

本发明涉及电力系统技术领域，尤其涉及一种基于大数据的智能运维管理系统及方法。

背景技术：

目前电力信息应用系统的运维系统存在以下缺点：

1)、缺乏故障处理优先级，运维效率低下：各省电力公司平均每天产生10000条异常运维工单，远远超过目前配备运维人员的工作能力，并且大部分公司没有制定合理的消缺机制，无法依据故障的紧急程度和重要等级开展运维业务。

2)、故障种类复杂多样，故障分析定位困难：信息采集系统涉及的运维对象有：财务营销数据、人力资源管理系统、综合能源平台、gis，配置管理系统，财务管理系统，资源交互平台，交易管理系统，协同办公，网上营业厅，生产系统、应急指挥，支持管理系统等。目前统计的异常现象共七大类59种，故障有98种，故障分析定位非常困难，普通的运维人员通常不具备定位故障原因并确定消缺方案的技术能力。

3)、缺少有效的考核评价体系：目前采集运维工作大多采用“故障查询–线下派工”的模式，缺少运维结果和故障信息的反馈环节。采集设备、计量设备、现场运维工作质量等方面均缺乏相关的考核评价体系，无法进一步提高运维工作质量。

技术实现要素：

本发明所要解决的技术问题在于，提供一种基于大数据的智能运维管理系统及方法，实现采集运维异常工单的智能化派发、分析处理和运维多维度质量评价，能够使运维工作由粗放式向集约化、精益化转变，进而提高运维工作效率和质量。

为了解决上述技术问题，本发明提供一种基于大数据的智能运维管理系统，包括：

数据抽取转换加载层，用于获取大数据并对大数据进行分类适配；

数据存储层，用于存储经过所述数据抽取转换加载层分类适配后的数据；

应用层，用于进行智能化派发异常工单、异常工单智能化处理和采集运维多维度质量评价；

数据分析层，用于对经过所述数据抽取转换加载层分类适配后的数据进行数据处理分析、数据优化和数据检索，并为所述应用层的异常工单智能派发、异常工单智能处理及采集运维多维度质量评价提供数据支撑。

其中，所述数据抽取转换加载层在对大数据进行分类适配的过程中采用ud-svr算法进行参数寻优，先基于均匀设计原则从全部的参数组合中选取一部分具有代表性的参数组合，然后再基于选取的部分参数组合及其评价指标mse以自调用svr建立评价指标mse与参数组合之间的关系模型，并以此对全部的参数组合进行预测，以预测的评价指标代替传统svm寻优方法中的交叉测试评价指标。

其中，所述数据分析层通过关系型联机分析处理机制对低维度的动态数据进行存储和分析，通过多维联机分析处理机制来对高维度的静态数据进行分析处理。

其中，所述数据分析层通过对运维数据和系统历史数据进行多维度分析，甄别各类异常的严重程度，输出采集运维效用值模型，以用于判断异常处理的先后次序。

其中，所述数据分析层还用于对历史工单进行多维度、大批量数据分析，归纳数据规律，发现各维度下异常工单发生大概率的异常原因，并综合考虑各维度下相同异常原因的发生概率，输出单个异常原因概率比值，对比各个异常原因比值的大小，以对未来发生类似故障现象起到预分析作用。

其中，所述应用层包括：

异常工单智能派发单元，用于基于所述数据分析层的异常工单处理先后次序评估结果向维护人员派发工单；

异常工单智能处理单元，用于基于所述数据分析层的异常原因发生概率评估结果向维护人员发送可能的异常原因；

采集运维多维度质量评价单元，用于对各运维人员的工作质量和工作效率进行综合评价，建立分析评价指标计算规则。

其中，所述采集运维多维度质量评价单元还用于对采集终端的产品质量进行评价，根据采集运维情况对各终端厂商的终端质量进行量化分析，利用各终端厂商的运行终端数、确认终端问题数、异常终端占比、更换终端数和终端时钟异常数，建立采集终端产品质量分析评价指标计算规则。

其中，所述采集运维多维度质量评价单元还用于对厂商的产品质量进行评价，根据采集运维情况对各厂商的产品质量进行量化分析，利用各厂商的运行设备数、确认问题数、异常设备占比、更换电备件数、设备时钟异常数，建立产品质量分析评价指标计算规则。

其中，所述采集运维多维度质量评价单元建立的分析评价指标计算规则包括以下三个评价指标：

异常工单派发率：异常工单派发率＝统计日期内派发工单数÷当期应派发的工单总数×100％；

异常工单反馈率：异常工单反馈率＝反馈工单数÷当期应反馈的工单总数×100％；

采集故障处理及时率：采集故障处理及时率＝已处理并恢复的采集故障数÷当期应处理的采集故障电表总数×100％。

本发明还提供一种基于大数据的智能运维管理方法，采用所述的基于大数据的智能运维管理系统，所述方法包括以下步骤：

步骤s1，获取大数据并对大数据进行分类适配；

步骤s2，存储经过分类适配后的数据；

步骤s3，对经过分类适配后的数据进行数据处理分析、数据优化和数据检索；

步骤s4，基于所述步骤s3中的数据处理分析结果智能派发异常工单、智能处理异常工单及采集运维多维度质量评价。

本发明实施例的有益效果在于，通过引入大数据技术，对采集数据进行深入挖掘、分析与梳理，实现采集运维异常工单的智能化派发、分析处理和运维多维度质量评价，能够使运维工作由粗放式向集约化、精益化转变，进而提高运维工作效率和质量。另外，还采用ud-svr算法来进行参数寻优，相比于现有的采用svm算法来进行参数寻优的方式大幅度提升了寻优速度，降低了寻优时间，可以很好地适用于大数据的分类适配处理。

附图说明

为了更清楚地说明本发明实施例或现有技术中的技术方案，下面将对实施例或现有技术描述中所需要使用的附图作简单地介绍，显而易见地，下面描述中的附图仅仅是本发明的一些实施例，对于本领域普通技术人员来讲，在不付出创造性劳动的前提下，还可以根据这些附图获得其他的附图。

图1是本发明实施例一一种基于大数据的智能运维管理系统的模块连接结构示意图。

图2是本发明实施例一中的应用层所包含的的单元结构示意图。

图3是本发明实施例二一种基于大数据的智能运维管理方法的流程示意图。

图4是本发明实施例二中步骤s11的子流程示意图。

具体实施方式

以下各实施例的说明是参考附图，用以示例本发明可以用以实施的特定实施例。

请参照图1所示，本发明实施例一提供一种基于大数据的智能运维管理系统，包括数据抽取转换加载层11、数据存储层12、数据分析层13和应用层14，所述数据抽取转换加载层11用于获取大数据并对大数据进行分类适配，所述数据存储层12用于存储经过数据抽取转换加载层11分类适配后的数据，所述应用层14用于智能化派发异常工单、异常工单智能化处理和采集运维多维度质量评价，所述数据分析层13用于对数据进行数据处理分析、数据优化和数据检索，并为应用层14的异常工单智能派发、异常工单智能处理及采集运维多维度质量评价提供数据支撑。所述数据抽取转换加载层11从各个数据采集主站中获取大量的源数据，如用户档案信息、采集成功率、异常工单等其它数据，并对获取到的大量源数据进行分类适配并向数据存储层12装载。所述数据存储层12采取混合型的大数据存储和处理架构，实现对多源异构电力大数据的多样性存储和处理功能，其中，混合存储可采用分布式文件系统、列式数据库、内存数据库等多种数据存储和管理形式，以满足不同应用的需求，处理架构分别面向离线分析、实时计算、计算密集型数据分析等场景，通过采用分布式批处理、内存计算、高性能计算等技术来实现。所述数据分析层13可以实现应用系统的基础功能，如分析模型管理、批量计算、实时查询等功能，并且在数据分析和数据处理之间采用支持高并发、低时延事务操作的分布式内存数据缓存技术，以降低业务应用操作与数据处理层之间的耦合性，提高应用服务响应效率。所述应用层14可以构建异常工单智能化派发、异常工单智能处理和采集运维多维度质量评价3项业务，实现采集运维闭环管理功能，并且，通过采用模块化软件设计方法实现3个功能模块的即插即用，并在充分考虑模块之间的信息联络及功能联合的基础上，遵循规范的接口，实现模块之间的功能融合，从而实现3个业务模块之间既可独立运行，又可协作互补。

可以理解，所述数据抽取转换加载层11在对大数据进行分类适配的过程中采用ud(uniformdesign均匀设计)-svr(supportvectorregression回归)算法来进行参数寻优，相比于现有的采用svm(支持向量机)算法来进行参数寻优的方式大幅度提升了寻优速度，降低了寻优时间，可以很好地适用于大数据的分类适配处理。

传统的svm参数寻优需对(c，g，p:依次表示惩罚系数、核函数参数、损失函数参数)组合在给定范围(三个参数范围一般为:log2c＝-1:1:7，log2g＝0:-1:-8，log2p＝-8:1:0)内进行穷尽搜索，搜索次数为三个参数向量长度的乘积，总的搜索时间为搜索次数×训练样本个数。对于小样本数据穷尽搜索算法运行时间尚能接受，但随着样本数目的增大，在参数选择方面花费的时间过多，所需的计算时间会呈几何级数增加，致使传统的svm无法有效适用于大数据集。

具体地，所述数据抽取转换加载层11首先基于均匀设计原则从全部的参数组合中选取一部分具有代表性的参数组合，从而可以有效地降低搜索范围，大幅度缩短了寻优时间；然后再基于选取的部分参数组合及其评价指标mse(meansquarederror均方误差)以自调用svr建立评价指标mse与参数组合之间的关系模型，并以此对全部的参数组合进行预测，以预测的评价指标代替传统svm寻优方法中的交叉测试评价指标，从而可以有效提升寻优效率。

可以理解地，所述数据分析层13引入了关系型联机分析处理机制和多维联机分析处理机制来对数据进行分析处理，大幅度提升了数据分析处理速度，可以很好地适用于对大数据进行分析处理的情况。其中，所述关系型联机分析处理机制是联机分析处理的一种形式，其基于关系型数据库，以关系型结构进行多维数据进行表示和存储，对存储在关系数据库(而非多维数据库)中的数据作动态多维分析。使用关系数据库管理系统存储数据，数据文件大小受rdbms(relationaldatabasemanagementsystem，关系数据库管理系统)限制，数据装载速度快，存储空间耗费小，维度数没有限制，可以通过sql(structuredquerylanguage，结构化查询语言)对数据进行处理。而所述多维联机分析处理机制是联机分析处理的另一种形式，其采用专门的多维分析数据存储结构存储数据，数据文件大小可能受到操作系统平台文件大小限制，难以达到tb级，规划存储时需要对数据量进行预测算，否则可能导致数据爆炸，数据装载速度慢，维数有限，无法支持维的动态变化，缺乏数据模型和数据访问的标准，分析查询响应速度高于其他联机分析处理技术，可以支持高性能的辅助决策计算。所述数据分析层13通过引入关系型联机分析处理机制对低维度的动态数据进行存储和分析，引入多维联机分析处理机制来对高维度的静态数据进行分析处理，两者相结合，各取所长，从而实现对不同的大数据进行高效的存储分析，大幅度提升了数据分析处理速度。其中，所述数据分析层13通过对大量运维数据和系统历史数据进行多维度分析，甄别各类异常的严重程度，输出采集运维效用值模型，以用于判断异常处理的先后次序，逐步提升异常工单处理的完成率和工作成效的可控性。例如，针对单个表计效用值来说，主要有：离下一抄表日天数、异常持续时间和月平均用电量这三个方面的影响。所述数据分析层13采用以下效用值模型来进行计算：

y效用值＝∑f(xi)(1)

其中，y效用值表示采集运维效用值，f(xi)表示单个电表异常采集运维效用值，i表示第i个电能表。其中：

f(xi)＝j(xi)+s(xi)(2)

其中，j(xi)表示异常持续时间的效用值，n表示故障持续天数，s(xi)表示建议紧急程度，m表示距离抄表日天数，r(xi)表示标准户数，其中，

其中，g(xi)表示电量标准偏差值。

从而可以通过快速判断出异常工单处理的先后次序，大幅度提升了异常工单处理的完成率和可控性。

另外，所述数据分析层13还可以对历史工单进行多维度、大批量数据分析，归纳数据规律，发现各维度下异常工单发生大概率的异常原因，并综合考虑各维度下相同异常原因的发生概率，输出单个异常原因概率比值，对比各个异常原因比值的大小，从而对未来发生类似故障现象起到预分析作用，提升运维效率。例如，对于一个新生成的异常工单，可通过故障设备的设备类型、生产厂家和国网招标批次等多个维度的异常原因发生概率，确定异常工单可能的异常原因，并对比比值的大小从而预测出新异常工单可能的异常原因，具体公式如下：

y比值＝∑f(yi)/n(7)

其中，y比值表示单个异常原因概率比值，f(yi)表示单个维度单一异常现象原因的发生概率，n表示所有维度的总量。

在实际应用中，通过对某个运维地区1个月1712个历史异常工单的故障设备类型、生产厂家和国网招标批次3个维度的分类筛选，运用单个异常原因概率比值概念对该地区新产生集中器与主站无通信故障进行故障原因分析，其中：

基于设备类型异常分析：该地区与集中器和主站无通信时有关的历史工单共有761条，集中器发生无通信故障时很大部分都是由集中器gprs模块故障、主机故障、软件故障造成，占比分别为32.82％、28.21％和12.82％，且该地区集中器gprs模块故障偏多；

基于设备生产厂家异常分析：该故障集中器为“某厂家”生产设备，与其有关的工单共有350条，发生无通信故障时很大部分都是由集中器gprs模块故障、主机故障、软件故障造成，占比分别为51.43％、13.71％和16.00％，且该厂家集中器gprs模块故障偏多；

基于国网招标批次异常分析：该故障集中器为“某批次招标”供货设备，与之有关的工单共有243条，“某批次招标”集中器发生无通信故障时很大部分都是由集中器gprs模块故障、主机故障、软件故障造成，占比分别为37.14％、14.29％和17.14％，且该招标批次集中器gprs模块故障偏多。

运用异常原因概率比值公式计算后可得：

集中器gprs模块故障率＝(32.87％+51.43％+37.14％)/3＝40.48％；

主机故障率＝(28.21％+13.71％+14.29％)/3＝18.74％；

软件故障率＝(12.82％+16.00％+17.14％)/3＝15.32％。

由以上可知该集中器与主站无通信异常工单很可能是由于gprs模块故障导致，可指导现场运维人员优先排查是否为集中器gprs模块故障。

可以理解，如图2所示，所述应用层14包括异常工单智能派发单元141、异常工单智能处理单元142及采集运维多维度质量评价单元143，所述异常工单智能派发单元141用于基于所述数据分析层13的异常工单处理先后次序评估结果向维护人员派发工单，以便于维护人员优先处理紧急度高的异常工单；所述异常工单智能处理单元142用于基于所述数据分析层13的异常原因发生概率评估结果向维护人员发送可能的异常原因，以便于维护人员快速、准确地对设备进行维护；所述采集运维多维度质量评价单元143用于对各运维人员的工作质量和工作效率进行综合评价，其利用异常处理数量、异常处理率、异常处理时长等数据，对采集运维工作进行评价，建立分析评价指标计算规则。

具体地，所述采集运维多维度质量评价单元143建立的分析评价指标计算规则包括以下三个评价指标：

异常工单派发率：异常工单派发率＝统计日期内派发工单数÷当期应派发的工单总数×100％；

异常工单反馈率：异常工单反馈率＝反馈工单数÷当期应反馈的工单总数×100％；

采集故障处理及时率：采集故障处理及时率＝已处理并恢复的采集故障数÷当期应处理的采集故障电表总数×100％。

另外，所述采集运维多维度质量评价单元143还用于对采集终端的产品质量进行评价，其根据采集运维情况对各终端厂商的终端质量进行量化分析，利用各终端厂商的运行终端数、确认终端问题数、异常终端占比、更换终端数、终端时钟异常数等数据，建立采集终端产品质量分析评价指标计算规则：

终端故障更换率：终端故障更换率＝周期内更换终端的数量÷周期内在运行的采集终端数量×100％；

终端时钟偏差超标占比：终端时钟偏差超标占比＝周期内终端时钟偏差超过5min的终端数量÷周期内在运行的采集终端数量×100％；

各厂家终端故障率：终端故障率＝周期内终端发生故障的次数÷周期内在运行的采集终端数量×100％。

另外，所述采集运维多维度质量评价单元143还用于对电能表的产品质量进行评价，具体地，根据采集运维情况对各电表厂商的产品质量进行量化分析，利用各电表厂商的运行电表数、确认电表问题数、异常电表占比、更换电表数、电表时钟异常数等数据，开展各电表厂商的产品质量分析，建立电能表产品质量分析评价指标计算规则：

故障更换率＝周期内更换电能表的数量÷周期内在运行的电能表数量×100％。

本发明的基于大数据的智能运维管理系统，利用数据抽取转换加载层11获取大数据并对大数据进行分类适配，然后加载至数据存储层12，再通过数据分析层13对数据进行优化、数据检索并为应用层14的异常工单智能派发、异常工单智能处理及采集运维多维度质量评价提供数据支撑，最后通过应用层14进行智能化派发异常工单、异常工单智能化处理和采集运维多维度质量评价。本发明的基于大数据的智能运维管理系统，通过引入大数据技术，对采集数据进行深入挖掘、分析与梳理，实现采集运维异常工单的智能化派发、分析处理和运维多维度质量评价，能够使运维工作由粗放式向集约化、精益化转变，进而提高运维工作效率和质量。

另外，还采用ud-svr算法来进行参数寻优，相比于现有的采用svm算法来进行参数寻优的方式大幅度提升了寻优速度，降低了寻优时间，可以很好地适用于大数据的分类适配处理。

可以理解，如图3所示，本发明的第二实施例还提供一种基于大数据的智能运维管理方法，其优选采用上述优选实施例所述的基于大数据的智能运维管理系统。所述基于大数据的智能运维管理方法包括以下步骤：

步骤s1：获取大数据并对大数据进行分类适配；

步骤s2：存储经过分类适配后的数据；

步骤s3：对数据进行数据处理分析、数据优化和数据检索；

步骤s4：基于步骤s3中的数据处理分析结果智能派发异常工单、智能处理异常工单及采集运维多维度质量评价。

可以理解，如图4所示，所述步骤s1中采用ud-svr算法对大数据进行分类适配，具体包括以下步骤：

步骤s11：基于均匀设计原则从全部的参数组合中选取一部分具有代表性的参数组合；

步骤s12：基于选取的部分参数组合及其评价指标mse以自调用svr建立评价指标mse与参数组合之间的关系模型，并以此对全部的参数组合进行预测，以预测的评价指标代替传统svm寻优方法中的交叉测试评价指标。

可以理解，所述步骤s3中引入关系型联机分析处理机制对低维度的动态数据进行存储和分析，引入多维联机分析处理机制来对高维度的静态数据进行分析处理，两者相结合，从而实现对不同的大数据进行高效的存储分析，大幅度提升了数据分析处理速度。

通过上述说明可知，本发明实施例的有益效果在于，通过引入大数据技术，对采集数据进行深入挖掘、分析与梳理，实现采集运维异常工单的智能化派发、分析处理和运维多维度质量评价，能够使运维工作由粗放式向集约化、精益化转变，进而提高运维工作效率和质量。另外，还采用ud-svr算法来进行参数寻优，相比于现有的采用svm算法来进行参数寻优的方式大幅度提升了寻优速度，降低了寻优时间，可以很好地适用于大数据的分类适配处理。

以上所揭露的仅为本发明较佳实施例而已，当然不能以此来限定本发明之权利范围，因此依本发明权利要求所作的等同变化，仍属本发明所涵盖的范围。