text: 运维数据生态:高阶落地的一些场景
  运维“数据思维”有多重要
  》中，我们站在运维的视角来对数据的作用做了一些解读，其中包括数据的重要性、运维的数据观和数据思维的理解。
  在本篇中，对运维数据的一些高阶使用场景进行介绍，运维数据使用的发展态势和落地价值，本章节重点从产品开发角度，探讨运维数据场景的高阶落地途径和方法。
  一、 运维的数据覆盖面和难点
  对于狭义的运维来说，数据的覆盖面相对较为单一，以系统稳定和资源管理为主，大致可以分为三类，资源元数据、系统状态数据、事件类数据。
  其中资源元数据主要覆盖基础架构、标准化支撑组件、虚拟资源数据，以及相关的属性、组成以及关联关系。
  系统状态数据以各类监控输出为主，如使用率、存活状态、支撑能力以及系统级、组件级、请求级的链路交互和拓扑关系。
  事件类数据一般是描述对系统和设备的变更、业务系统的异常、流程节点的阻断和策略数据。
  对于广义的运维来说，数据的覆盖面取决于公司展业的业务复杂性和组织架构职能的交叉延伸，在狭义的运维数据覆盖面之上，还包括了较为广泛的业务数据、运营数据、工程效率数据、用户体验数据。
  相对应的也衍生出复杂的数据使用场景、数据处理规则、数据关联关系和更为复杂的运维数据输出能力。
  对于运维数据场景输出来说，有几个前置阶段，分别为场景适配、运维数据中台、运维工程体系和运维数据策略，本章节主要以场景适配阐述。
  时间关联
  业务系统开放接口
  人员关联
  第三方数据源
  策略数据
  其他支撑系统(项目、需求)
  其他第三方数据
  数据血缘关联
  二、 运维数据的高阶场景
  在运维数据输出场景中，大都遵循数据的时效和获取方式。
  在数据处理时效规则方面一般有三种，离线数据处理规则、近线数据处理规则和实时数据处理规则，相对于的数据获取也有不同的方式，一般有，周期性的拉取数据、周期性的主动推送数据、实时获取数据。
  在数据运用和场景适配阶段，离线适用于指标统计类，近线适用于智能监控的故障诊断和预测，实时适用于自愈场景、无人值守场景、自动调度场景。
  本章节中的高阶场景以告警自动阈值、知识图谱、故障自动评估、无人值守变更和数据血缘流向为例，分别阐述相应的场景落地和具体方法。
  1、 知识图谱
  知识图谱的大面积运用是从谷歌的搜索服务开始的，从此知识图谱的数据输出能力得到了更大范围的拓展，最常见的是各类知识库。
  在运维领域，很多高阶的运维数据运用，尤其是基于海量数据的颗粒度关联以及数据的聚合场景下的应用，通俗点说，基于运维的知识图谱是基于业务连续性框架下的运维知识工程。
  很多人有疑问，运维的知识图谱和CMDB好像是一回事，其实这个说法并没有错，知识图谱是采用数据聚合和运维策略的CMDB进阶方式。
  通常我们会遇到一个场景，在云环境下，某台宿主机重启，知识图谱会告诉我们这台宿主机上运行哪些虚拟机，部署了什么系统，承接了什么业务，这些系统的服务状态又会影响哪些下游系统，下游系统又会影响什么业务场景，业务链路会造成什么影响，对正常展业带来了什么风险，这是知识图谱的的一种能力输出方式。
  在知识图谱的落地过程中，我们需要打通基础架构、系统架构、业务架构的数据层次和数据颗粒度的关系，这种数据量是非常庞大的，如CMDB、配置中心和接口系统，甚至还需要对接业务需求系统，比较理想的情况下获取完整的结构化数据。
  同时通过运维策略和业务规则进行数据层次关系落地，对运维数据不断的筛选和知识验证，最终达到正确的运维知识结构，下面我们举一个某个业务的知识图谱例子。
  业务系统链路流向关系
  系统A部署关系
  虚拟机5
  虚拟机6
  虚拟机7
  宿主机1
  宿主机1
  宿主机5
  宿主机5
  Redis集群部署关系
  主节点1
  主节点2
  主节点3
  从节点1
  从节点3
  宿主机4
  宿主机6
  宿主机5
  系统C部署关系
  宿主机3
  宿主机3
  宿主机3
  业务接口流向关系
  A系统a接口
  A系统b接口
  B系统e接口
  C系统d接口
  C系统e接口
  通过知识图谱的一些图形化能力，可以查到丰富的结果，展现给各能力子域较为全面的知识，还可以进阶为更高级的语义匹配能力。
  知识图谱在运维领域主要构建了常见的容量场景、业务链路场景、故障场景，通过一定策略判断对数据输出实现辅助决策功能。
  对于AiOps而言，知识图谱实现了一定的数据思考和数据推理，和监控系统的打通能够实现事前事中的风险判断和风险溯源。
  2、 故障自动评估
  故障自动评估有较多的应用场景，主要有应急演练时快速避免盲测带来的风险，故障发生时快速判断对业务的影响面，故障自动评估也是基于运维知识图谱的衍生能力之一。
  针对宕机一台进行分析得到，宿主机3和宿主机4宕机对业务链路产生中断影响。
  在故障自动评估中，有一点需要特别关注，那就是数据的模糊边界。
  数据的边界大致分为三类，面向基础架构的数据边界、面向应用系统的数据边界、面向业务保障的数据边界，在这个过程中需要将这些数据边界完全打破，形成多层次的颗粒展现。
  在落地过程中还有一点值得关注的，统一偏业务侧的运维语言和业务连续性评估方法，这是偏向顶层的设计，将业务逻辑、数据流和基础架构集成数据进行分析评估，并实现多个数据模型的输出汇聚，在业务服务的影响下进行数据映射。
  除此之外，还有最重要的场景识别，这也是CMDB是否成为运维知识图谱唯一的发展之路，如果不考虑交付的嵌入，基于流程的场景识别和基于业务服务化的场景识别是运维数据的高阶使用中必不可少的一个抓手。
  3、 无人值守变更
  在很多企业，变更过程是这样的，运维人员关注监控、发布单、机器、业务故障预警，监控能够反映出来当前系统的一些状况，例如机器的负载是否上去了，接口的成功率是否下降了，发布单则能让我们了解当前的发布情况，有多少机器已经更新到新版本了，有多少还在跑旧版本，有多少机器启动又遇到异常了等等，盯着机器则可以看一些日志信息，是否有一些新的异常出现了，异常的量是否很大。
  这种变更方式被很多的企业所接受，但是人毕竟是局限的，如果运维人员责任心不强，或者流量过大数据刷新过快，又或者对业务指标相对不是很熟悉，很容易造成变更过程中的故障被疏忽，因此我们需要无人值守变更。
  ②业务开关策略需要纳入到自动变更体系，如A系统发布后执行关闭某个挂起任务。
  ③必须提供完善的验证条件，如最新包验证、异常启动日志验证、无日志验证、异常业务日志验证。
  ④触发阻断后自动回退。
  ⑤基于业务指标的监控回检，如用户流量、业务成功率、异常指标的同环比。
  无人值守变更是运维数据高阶运用的典型，通过对接发布策略、基础架构、全链路监控和数据分析系统，对发布过程中的流量数据进行采集分析和比对，进行结果的判断，事后针对历史变更故障异常集的回放属于更高阶的功能。
  检验无人值守变更的最佳方式还是事后验证，通过业务监控的召回率和准确率指标来回溯，优先保证准确率，其次是召回率。
  4、动态阈值
  动态阈值在AiOps中是个热门的话题，最佳实践案例也比较多，在此，笔者简单介绍下动态阈值的一些基本方法和场景。
  需要动态阈值的一般在高流量且突增突降的电商生态场景，如数据源输出、支付、线上抢购，此类生态系统的运维方式和普通的运维方式相比存在不同。
  如监控指标繁多，动辄上万监控指标，且配置复杂，一旦用户流量呈几何级的爆发，准确率和召回率断崖式的下降，连带了剧烈的报警风暴，噪音也呈几何级的上升。
  因此调整监控阈值并不是一个好办法，只能通过数据挖掘或机器学习来达到阈值自动调整。
  一般的数据偏差有三类场景会进行关注，①数据的环比同比出现明显问题;②周期内的数据出现持续偏离的问题;③数据指标在时间周期内发生较为明显的漂移。
  在实际的业务场景中，结合数据偏差情况所对应的三种阈值类型，①周期性波动的数据，如非活动期间的接口平均耗时和活动期间的接口平均耗时，工作日流量和非工作日流量，此类数据一般是按天来计算;②某些时间的突变数据，如接口的峰值耗时和数量，此类数据更多体现在局部数据的影响放大，针对此类数据的处理要格外审慎，需要考虑场外因素，如发布、第三方外部系统导致的短暂异常。
  ③毛刺数据，毛刺数据是寻常监控难以发现的，对于全局数据来说，毛刺对均值和阈值基线不会存在影响，但对于抢购场景的洪峰阈值存在较大的不确定性，因此在阈值方面要做一些滤波操作。
  在报警风暴方面，除了对报警信息按照系统级进行收敛，还需要有依赖策略。
  根据知识图谱的数据关联，进行基础架构和业务系统的关键字数据匹配，对告警信息进行依赖匹配。
  举个简单的例子，如某台宿主机宕机，宿主机承载的虚拟机出现请求失败，在秒级和分钟级的数据呈现势必引起较高的峰值耗时和熔断数量，对于业务指标的影响不会放大，因此需要对服务器宕机短信和接口耗时短信进行策略依赖和异常依赖，避免报警风暴和额外的人力投入，这也是通过传统的数据挖掘来达到数据特征的关联分析。
  故障处理包括四个阶段，故障发现、故障处理、故障恢复和故障总结，而动态阈值是故障发现的重要一环。
  运维领域的数据使用从最开始的运维保障到现在数据能力输出，一方面来说提升运维能力的宽度和广度，实现了自动化到智能化来进行运维效能提升和运维成本降低。
  另一方面，对数据进行技术变现，来完善科技对业务的支撑能力，让运维从幕后走到前台。
  前言:在上一篇《运维数据生态:高阶落地的一些场景》中，从产品开发角度，探讨运维数据场景的高阶落地途径和方法。
  在数据的输出和变现的过程中，场景化作为最终落地的载体...前言:在上一篇文章《建立数据指标体系，推动DevOps全链路度量闭环》中，我们描述了基于数据来建立数据指标体系，通过指标体系达到主观事件客观呈现的效果。
  转型的成败与否，取决于最终的转型效果和价值，无论是数字化还是DevOps，都应该以结果为导向，不应该为了转型而转型。
  DevOps作为数字化转型的关键内建阶段，承...近日，在百大人物峰会上，创新工场创始人李开复谈及数据隐私保护和监管问题时，表示:“人们不应该只将人工智能带来的隐私问题视为一个监管问题，可尝试用‘以子之矛攻己之...没有明确分析数据的
  要分析一个数据，首先要明确自己的目的，为什么要收集和分析这样一份数据。
  只有明确了目的之后，才能够把握好接下来应该收集哪些数据，应该怎么收...大数据技术是一种新一代技术和构架，大数据技术不断涌现和发展，让我们处理海量数据更加容易、更加便宜和迅速，成为利用数据的好助手，大数据技术已经运用到各个领域 要分析一个数据，首先要明确自己的目的，为什么要收集和分析这样一份数据。
  只有明确了目的之后，才能够把握好接下来应该收集哪些数据，应该怎么收集数据，应该分析哪些数据...在工作中跟同事沟通很重要，有多重要呢，一个月前，领导给分派了一个工作:要做一套针对线上实时数据的质量监控。
  监控这种工作首先第一点也是最重要的一点要跟生产流程解耦...周涛，1982年4月出生于成都。
  2005年获中国科学技术大学学士学位，2010年获瑞士弗里堡大学物理系哲学博士学位。