服务运行实例维度分析02(200527)

今天再谈下服务运行实例数据的维度分析，上篇文章整理了实例数据维度分析的基本思路，今天注意谈下在这个实例维度数据形成以后可用的一些大数据分析方法。

对于大数据维度分析方法，我们可以先摘录下网上的一个常用方法整理：

===================================================

数据分析是从数据中提取有价值信息的过程，过程中需要对数据进行各种处理和归类，只有掌握了正确的数据分类方法和数据处理模式，才能起到事半功倍的效果，以下是数据分析员必备的9种数据分析思维模式：

1. 分类

分类是一种基本的数据分析方式，数据根据其特点，可将数据对象划分为不同的部分和类型，再进一步分析，能够进一步挖掘事物的本质。

2. 回归

回归是一种运用广泛的统计分析方法，可以通过规定因变量和自变量来确定变量之间的因果关系，建立回归模型，并根据实测数据来求解模型的各参数，然后评价回归模型是否能够很好的拟合实测数据，如果能够很好的拟合，则可以根据自变量作进一步预测。

3. 聚类

聚类是根据数据的内在性质将数据分成一些聚合类，每一聚合类中的元素尽可能具有相同的特性，不同聚合类之间的特性差别尽可能大的一种分类方式，其与分类分析不同，所划分的类是未知的，因此，聚类分析也称为无指导或无监督的学习。

数据聚类是对于静态数据分析的一门技术，在许多领域受到广泛应用，包括机器学习，数据挖掘，模式识别，图像分析以及生物信息。

4. 相似匹配

相似匹配是通过一定的方法，来计算两个数据的相似程度，相似程度通常会用一个是百分比来衡量。相似匹配算法被用在很多不同的计算场景，如数据清洗、用户输入纠错、推荐统计、剽窃检测系统、自动评分系统、网页搜索和DNA序列匹配等领域。

5. 频繁项集

频繁项集是指事例中频繁出现的项的集合，如啤酒和尿不湿，Apriori算法是一种挖掘关联规则的频繁项集算法，其核心思想是通过候选集生成和情节的向下封闭检测两个阶段来挖掘频繁项集，目前已被广泛的应用在商业、网络安全等领域。

6. 统计描述

统计描述是根据数据的特点，用一定的统计指标和指标体系，表明数据所反馈的信息，是对数据分析的基础处理工作，主要方法包括：平均指标和变异指标的计算、资料分布形态的图形表现等。

7. 链接预测

链接预测是一种预测数据之间本应存有的关系的一种方法，链接预测可分为基于节点属性的预测和基于网络结构的预测，基于节点之间属性的链接预测包括分析节点资审的属性和节点之间属性的关系等信息，利用节点信息知识集和节点相似度等方法得到节点之间隐藏的关系。与基于节点属性的链接预测相比，网络结构数据更容易获得。复杂网络领域一个主要的观点表明，网络中的个体的特质没有个体间的关系重要。因此基于网络结构的链接预测受到越来越多的关注。

8. 数据压缩

数据压缩是指在不丢失有用信息的前提下，缩减数据量以减少存储空间，提高其传输、存储和处理效率，或按照一定的算法对数据进行重新组织，减少数据的冗余和存储的空间的一种技术方法。数据压缩分为有损压缩和无损压缩。

9. 因果分析

因果分析法是利用事物发展变化的因果关系来进行预测的方法，运用因果分析法进行市场预测，主要是采用回归分析方法，除此之外，计算经济模型和投人产出分析等方法也较为常用。

以上是数据分析员应熟练掌握的9种数据分析思维方法，数据分析员应根据实际情况合理运用不同的方法，才能够快速精确的挖掘出有价值的信息。

原文： http://www.360doc.com/content/18/0411/20/51031011_744829279.shtml

======================================================

上面摘录的是一些通用的大数据分析方法，比如我们常用的回归分析，聚类分析等，但是对于服务运行实例数据前面谈到，我们希望是通过服务运行实例数据能够发现数据的突变或异常情况，这个就是我们大数据分析的重点。

在最早的时候，我们做了服务监控预警功能，这个功能实际上满足了部分需求。整个功能的基础就是首先自己定义监控预警指标和指标的阈值，同时设置监控的范围是一个服务还是多个服务，监控的时间端是5分钟，30分钟还是1个小时等时间段。

在监控预警指标和阈值设计好后，我们就会对服务运行数据进行统计分析，只要超过了阈值我们就进行预警通知和实时信息推送。这个就是一个大数据异常分析的一个定制化实现。

在这个功能后，我们进一步做了服务运行基准监控功能。

基准监控功能简单来说，就是每一个服务运行，对于服务运行次数，时长，数据量等都有一个服务运行的基准值，如果我们实际的统计数据超过了这个基准值，那么我们就仍然有异常需要关注。

但是以上几个功能，我们可以看到基本都没有很好的解决数据运行中的突变问题。即我们经常说的对运行数据的变异分析实际上包括了两个方面的内容。

1. 基准分析：设定一个基准条件和阈值，对数据运行进行基准分析和比对

2. 突变分析：基于数据的历史运行趋势，来分析数据指标是否存在突变的情况

而实际上我们要解决的问题正是突变分析，那么我们可以来看下如何对数据运行指标进行突变分析。在进行突变分析的时候，首先我们要考虑的就是突变指标的定义，究竟什么样算得上突变，比如：

1. 指标量出现>5倍或10倍的跳变，且维持2到3个时间周期

2. 指标量出现>50%或100%的快速增长，请维持2到个时间周期

3. 指标量出现>30%的增长，且同时满足了基准监控阈值

4. 连续的多个指标周期，异常数都大于某个基准值

5. 同类型或同服务等级的服务，在横向对比的时候多次出现明细倍数差异关系

6. 同消费方组织，在消费服务的时候，在横向对比的时候多时间周期明细出现倍数差异关系

即对于突变的分析我们要注意的仍然是以下几个方面

1. 对于单个服务我们根据时间周期的历史数据趋势进行纵向分析和对比，时间周期支持聚合

2. 支持对服务进行聚合后的指标值进行时间周期对比，比如按消费方，提供方，类型等聚合服务

3. 可以横向对服务进行对比，可以按服务类型维度，也可以按消费方组织维度进行横向聚合对比

经过以上分析，我们看到基本形成了数据差异和突变分析的思路，但是整个思路和分析方法，仍然需要我们手工做相关的指标定义，时间周期定义，突变规则制定等。在这些指标，规则，后台的维度数据模型都定义清楚后，我们基本可以做到对数据进行灵活，自动化的突变分析并输出异常记录。