更新时间:2023-06-14 10:31:56

场景数据准备

►  日志规划

将AnyShare的业务日志根据日志类型划分,可分为:

  • AnyShare运维日志
  • AnyShare操作日志
  • AnyShare访问日志
  • MySQL日志
  • Nginx日志
  • AnyShare基础设施日志(AnyShare-System)
  • AnyShare OfficeOnline日志
  • Windows日志

说明:划分的目的是为了下面根据日志类型创建日志库模板,让相同类型的日志进入同一个索引。相同类型不同业务系统的日志可以根据标签进行区分。

日志类型

日志标签

日志路径

采集方式

AnyShare运维

AnyShare,App, sharemgnt

/var/log/sharemgnt.log

Agent采集

AnyShare,App, eftsearch

/var/log/app/eftsearch.log

Agent采集

AnyShare,App, eoss

/var/log/eoss/eoss.applog

Agent采集

AnyShare操作日志

AnyShare,App, operation

推送方式

接口推送

AnyShare访问日志

AnyShare,App, access

推送方式

接口推送

MySQL

AnyShare,MySQL, mysqld

/sysvol/log/mysql/mysqld.log

Agent采集

Nginx

AnyShare,Nginx

错误日志:/var/log/nginx/error.log

访问日志:/var/log/nginx/access.log

Agent采集

Windows

AnyShare,Windows

--

Metricbeat采集

OfficeOnline

OfficeOnline,App,Microsoft-Office-Web-Apps

--

Winlogbeat方式采集

AnyShare-System

AnyShare,SystemInfo,cpu

--

Metricbeat采集

AnyShare,SystemInfo,filesystem

AnyShare,SystemInfo,fsstat

AnyShare,SystemInfo,memory

AnyShare,SystemInfo,network

AnyShare,SystemInfo,process

►  配置日志库

进入数据管理>数据存储>日志库管理,新建日志库,以下是注意事项:

  • 模板名称、数据类型和上一步中的日志类型保持一致,即与实际接入进来的类型保持一致,根据上面的日志分类,需要新建AnyShare运维、AnyShare操作日志、AnyShare访问日志、MySQL、Nginx、OfficeOnline、Windows、AnyShare-System日志8个日志库模板。

注意:名称要与此处所写保持一致,实际新建数据根据可采集的日志类型而定。

  • 日志库名称创建规则尽量按照月新建:

  • 某一类数据很多的话创建日志库时可以适当增加分片数量,如每月数据量约100G,则可设置4个分片;
  • 如果不确定某类数据每月日志量大约多少,那就设置三个分片,大小90G,如果日志量超过了也不必担心,对应的索引会以xxx_01,..的方式递增
  • 单机或者单节点集群环境中,副本数设置为0;多节点集群副本数设置为1;
  • 生命周期保持默认;
  • 如果需要在搜索界面通过关键字搜索,就打开全文索引;
  • 字段设置设置如下:

  • 若无热温迁移需要,按如下配置即可:

1)例如,AnyShare运维日志库新建日志库完成,如下所示:

2)新建完成后会自动生成对应的日志库索引,切换到日志库标签页,可以看到新生成的索引;如果未自动生成,则日志库创建失败,需重新创建:

►  配置数据输入

1)采集日志需要加上标签,进入系统管理>标签管理新建日志规划中的标签,配置数据输入之前应首先确定各个日志类型的采集方式,如下图:

注意:AnyShare-System和Office-Online是通过代理客户端采集,类型和标签可以在配置文件中定义,此处不需要建标签。

2)AnyShare运维、Nginx、MySQL日志需要通过AR-Agent采集,为了管理方便只配置一个AR-Agent类型端口即可,不需要添加类型和标签:

3)AnyShare-System(基础设施日志)是通过Metricbeat采集AnyShare服务器的CPU、内存、进程等信息。此处需新建一个beats类型的端口为20070,不需要添加类型和标签。

Metricbeat配置文件如下所示:

注意:各日志的类型和标签,POC过程中若无需对日志来源进行区域划分,可不加 "上海" 标签,如下所示。

4)Office-Online日志是通过Winlogbeat采集Office-Online服务器的日志,只需一个beats类型的端口,不需要类型和标签。如果已创建过,复用即可,不需要新建。打开Windows PowerShell,输入以下命令,Microsoft Office Web Apps即为Office-Online日志,如下所示:

Winlogbeat配置文件如下:

配置解析规则

上述日志中,AnyShare操作日志、访问日志、Nginx日志需要通过解析规则进行解析。例如,AnyShare操作日志和访问日志的解析需要在模板中添加过滤条件,自定义type,具体如下:

 

场景分析

定义KPI指标

面向应用系统建模,按照关键IT服务进行拆分建模:

KPI具体配置

说明:

1. 定义KPI指标的阈值,无波动或波动较小的选择静态阈值,随着业务周期性波动的选择动态阈值;

2. 定义KPI对服务的影响权重,根据指标对服务和业务的影响范围和程度,选择对应的权重值。

效果展示

  • 服务分析器平铺视图,可快速查看IT服务的整体健康状态,点击服务,可下钻到当前服务KPI详情,点击每个KPI可查看实体详情;可下钻到原始日志精准直观定位导致业务故障的根本原因: 

  • 服务分析器树视图,可快速查看服务之间的依赖关系:

  •  KPI告警配置,设置告警触发条件和告警执行计划,可对指定严重性的KPI进行告警:

 

  • KPI告警记录,可查看告警事件详情,快速定位问题:

  • KPI告警降噪,解决无法从大量的告警中提取有价值的信息,实现精准告警:

  • AnyShare业务全景图,建立全局业务运维视图,可清晰查看业务间的依赖关系,展示AnyShare应用的异常情况: