更新时间:2023-05-30 10:34:57

日志规划

AnyShare操作日志

说明:划分的目的是为了下面根据日志类型创建日志库模板,让相同类型的日志进入同一个索引。相同类型不同业务系统的日志可以根据标签进行区分。

日志类型 日志标签 日志路径 采集方式

AnyShare操作日志

AnyShare,App, operation

推送方式 接口推送

配置日志库

1. 进入数据管理>数据存储>日志库管理>日志库,新建日志库,以下是注意事项:

  • 模板名称、数据类型和上一步中的日志类型保持一致,即与实际接入进来的类型保持一致,根据上面的日志分类,需要新建AnyShare操作日志日志库模板。

注意:名称要与此处所写保持一致,实际新建数据根据可采集的日志类型而定。

  • 日志库名称创建规则尽量按照月新建:

  • 某一类数据很多的话创建日志库时可以适当增加分片数量,如每月数据量约100G,则可设置4个分片;
  • 如果不确定某类数据每月日志量大约多少,那就设置三个分片,大小90G,如果日志量超过了也不必担心,对应的索引会以xxx_01,..的方式递增
  • 单机或者单节点集群环境中,副本数设置为0;多节点集群副本数设置为1;
  • 生命周期保持默认;
  • 如果需要在搜索界面通过关键字搜索,就打开全文索引;
  • 字段设置设置如下:

  • 若无热温迁移需要,按如下配置即可:

2. 以下为新建AnyShare运维日志库的完成效果:

3. 新建完成后会自动生成对应的日志库索引,切换到日志库标签页,可以看到新生成的索引;如果未自动生成,则日志库创建失败,需重新创建:

配置数据输入

1. 采集日志需要加上标签,在系统管理>标签管理里面新建第1步里面日志规划的标签,类型和标签可以在配置文件中定义,此处不需要建标签。配置数据接收之前应首先确定各个日志类型的采集方式,如下:

配置解析规则

上述日志中,AnyShare操作日志需要通过解析规则进行解析。例如,AnyShare操作日志和访问日志的解析需要在模板中添加过滤条件,自定义type,如下: