更新时间：2023-11-20 11:02:15

AnyRobot 指标模型管理模块提供了指标模型的创建、删除、修改、查询及导入、导出等功能，可实现指标的统一定义及统一管理。您可根据实际业务场景中的指标需求，通过定义说明指标计算规则的查询语句、指标度量单位等参数，自行创建适于不同数据类型（支持指标数据（Metric）、链路数据（Trace）、日志数据（Log）及事件数据（Event））的指标模型。

提示：成功创建指标模型后，您可在AnyRobot可视化分析模块（如：仪表盘图表、服务健康度等）中直接引用，进一步对模型定义的指标数据进行多维度指标分析，详情请参见 指标模型应用 章节。

关于指标模型管理模块的配置操作说明，请参见下文：

► 创建指标模型

进入数据管理>数据模型>指标模型配置页面，如下所示：

点击【+新建】，进入“新建指标模型”的配置页面，如下所示：

1. 配置基本信息

配置参数说明如下：

配置参数 参数说明 限制条件
*指标模型名称

填写指标模型的名称

• 指标模型名称不能重复，且不能为空；

• ≤40个字符
标签

根据实际需求设置指标模型的标签信息，用于业务标识。可通过回车键添加多个标签。

• 最多支持创建5个标签
备注 根据实际需求填写指标模型的其他属性信息

• ≤255个字符

2. 配置模型信息

在“模型配置”区域，配置指标模型的参数信息，如下所示：

 

配置参数说明如下：

• *指标类型：在下拉框中选择指标的类型，默认为“原子指标”。原子指标可以理解为是对指标计算逻辑、具体算法的第一层抽象，皆在从根源上规范指标的定义，以保证指标的一致性。

说明：指标类型为必选项，当前仅支持配置“原子指标”。

• *日志分组：点击【设置日志分组】后，在弹出的"选择日志分组"抽屉中配置数据来源所属的日志分组。

说明：1. 日志分组为必填项。配置时，仅支持选择日志分组中的根分组，且仅支持配置1个分组；

         2. 若找不到需要的日志分组，可点击抽屉最下方的“新建日志分组”进行创建。

• *查询语言：您需根据数据源的数据类别（category）选择适用的查询语言，可选项：PromQL、DSL。具体如下：

说明：查询语言为必选项。

1）当数据源的数据类别（category）为指标数据（Metric），*查询语言选择“PromQL”或“DSL”皆可创建适于指标数据的指标模型。此种情景您可根据语言使用偏好进行选择。
提示：建议选择“PromQL”，配置操作更为简易；
2）当数据源的数据类别（category）为链路数据（Trace）/日志数据（Log）/事件数据（Event），*查询语言需选择“DSL”方可创建适于链路数据（Trace）/日志数据（Log）/事件数据（Event）的指标模型。

• *计算公式：根据上方已配置的*查询语言，填写用于说明指标计算规则的对应查询语句。配置生效后，系统会根据此处定义的计算公式进行指标计算，得到对应指标数据（请参见 预览指标数据了解详情）。

说明：计算公式为必填项。

1）当*查询语言选择“PromQL”时，需填写用于说明指标计算规则的PromQL查询语句，具体书写规范请参见《AnyRobot Eyes 5 UniQuery 开发者指南》2.3PromQL查询语言>2.3.1-2.3.4 章节，若获取此文档失败请联系相关技术支持人员。

2）当*查询语言选择“DSL”时，配置框中默认提供了DSL语句的预输入框架，您可参照下图中的简要提示，修改可自定义的字段或默认字段，快速配置所需公式。您也可以详细了解预输入计算公式（DSL语句）结构的说明后，再根据实际需求配置所需的公式。

提示：预输入计算公式（DSL语句）中尖括号"<>"内为自定义字段，可根据实际需求进行修改；"(默认)”标识部分为默认字段，可直接应用，也可根据实际需求修改。

▶︎ 预输入计算公式（DSL语句）结构

指标模型通过此处配置的DSL语句实现对指定数据集的聚合查询操作，进而提取所需的指标数据。配置框中提供的预输入DSL语句为嵌套的聚合结构（如上图所示），包括过滤查询部分、聚合查询部分。

    • 过滤查询部分
键 含义
size size需设置为0。表示查询结果只返回聚合结果，不返回文档数据。
query 表示这是一个查询操作。
bool 布尔查询部分
filter 查询的过滤条件。此处filter为空数组，表示此查询没有筛选条件，即查询时会匹配所有文档。可根据实际需求自行定义查询必要的匹配条件，以筛选指定数据，书写格式可参见OpenSearch官网文档>Filter context的相关内容。

    • 聚合查询部分

“aggs”部分具体定义了需执行的聚合查询操作，包括三层嵌套的聚合：terms（词条）聚合、date_histogram（日期直方图）聚合、value_count（计数）聚合。terms聚合将按照<terms-field-name>.keyword字段的值对所选数据集分组。每个分组内再执行date_histogram聚合，具体按照@timestamp字段的值进行时间分组，时间分组的具体时间间隔由${{__interval}}的具体参数决定。最后，每个时间间隔内再进行value_count值聚合，用于统计每个间隔内@timestamp字段值对应的文档数量，生成指标数据。此默认嵌套聚合结构，可用于实现根据指定时间间隔（按天/周/月）对指定对象类别下某一指标的统计分析，帮助进行时间趋势相关的数据分析及可视化。

提示：您可根据实际指标需求自行定义所需的聚合方式，详情请参见支持的聚合方式。

三层嵌套聚合的详细说明如下：

➢ terms（词条）聚合

键 含义
aggs 聚合查询部分
<terms-aggs-name> terms（词条）聚合结果的名称，用于标识此聚合的结果，您可根据实际需求自定义命名。
terms terms（词条）聚合部分。分桶聚合类型，用于根据指定字段的值对数据进行分组，并统计每个不同值对应的文档数量或计算其他度量指标。
field terms（词条）聚合的分组字段。此处field:<terms-field-name>.keyword表示聚合将根据<terms-field-name>.keyword字段值对数据集进行分组，您可根据实际需求定义分组字段，书写格式可参见OpenSearch官网文档>AGGREGATIONS>Terms aggregations的相关内容。
size terms（词条）聚合返回的分组数量。此处size:1000表示最多返回1000个不同值对应的分组。

提示：1000为默认参数，您可以直接应用此参数，也可以根据实际场景自定义。
➢ date_histogram（日期直方图）聚合
键 含义
aggs

嵌套的date_histogram聚合查询部分。表示将在terms聚合的每个分组中进行的date_histogram聚合。
<date-histogram-name>

date_histogram（日期直方图）聚合结果的名称，用于标识聚合操作的结果，您可根据需求自定义命名。
date_histogram

date_histogram（日期直方图）聚合部分。分桶聚合类型，用于根据指定日期字段的值对数据进行分组，并统计指定的时间间隔内的文档数量或计算其他度量指标。
field

date_histogram（日期直方图）聚合的分组字段。您可根据实际需求自定义分组所需的日期字段，书写格式可参见OpenSearch官网文档>AGGREGATIONS>Date histogram aggregation 的相关内容。
fixed_interval

date_histogram分桶聚合下，支持使用fixed_interval（固定时间间隔）以及calendar_interval（日历感知时间间隔）定义时间分桶的间隔。

fixed_interval表示按照指定的固定时间间隔对数据集进行分组。fixed_interval指定了一个固定的时间间隔（例如，秒、分钟、小时等）进行分组，无论查询的时间段长度如何，间隔都保持不变。fixed_interval通常用于创建均匀的时间间隔，适用于时间序列分析场景。配置限制说明如下：

需注意，在date_histogram聚合方式中fixed_interval若需设置为变量，格式应填写为{{__interval}}，表示聚合将根据其它已指定的固定时间间隔执行分组。
calendar_interval

date_histogram分桶聚合下，支持使用fixed_interval（固定时间间隔）以及calendar_interval（日历感知时间间隔）定义时间分桶的间隔。

calendar_interval表示按照感知日历的时间间隔对数据集进行分组。calendar_interval根据实际日历单位（例如，年、月、周等）进行分组，将根据每个时间段的实际日历单位来确定具体的间隔大小。能够根据实际日历，灵活创建适于月末、年末等特殊日历情况的连续时间间隔。配置限制说明如下：

• 当选择按照日历感知时间间隔进行分桶时，不支持配置为变量，当前支持的日历间隔如下：

"calendar_interval": "1m"或"calendar_interval": "minute"

"calendar_interval": "1h"或"calendar_interval": "hour"

"calendar_interval": "1d"或"calendar_interval": "day"

"calendar_interval": "1w"或"calendar_interval": "week"

"calendar_interval": "1M"或"calendar_interval": "month"

"calendar_interval": "1q"或"calendar_interval": "quarter"

"calendar_interval": "1y"或"calendar_interval": "year"

• 当选择按照日历感知时间间隔进行分桶时，可指定时区（默认为Asia/Shanghai时区）。其参数只接受例如Asia/Shanghai的字符串格式，暂不支持其它格式，具体如下：

"time_zone": "Asia/Shanghai"
min_doc_count 时间间隔内最少文档数。如："min_doc_count"：1 表示若某个时间间隔内文档数＜1，则该时间间隔不会被包含在聚合结果中。
order

表示将对分组结果进行排序。
_key

分组结果的具体排序方式。如"_key":"asc"表示将对分组结果进行升序排列。

➢ value_count (计数)聚合

键 含义
aggs 嵌套的value_count（计数）聚合部分。
<metric-aggs-name>  value_count（计数）聚合结果的名称，用于标识聚合操作的结果，您可根据需求自定义命名。
value_count value_count（计数）聚合部分。值聚合类型，用于统计指定字段中非空值的数量。
field value_count（计数）聚合需要统计的字段。如"field": "@timestamp"表示要统计的字段是@timestamp。

▶︎ 计算公式（DSL语句）基本规范说明

上文仅对预输入框架中示意的聚合方式进行了配置说明，若实际场景中需要使用其他聚合方式，请参考OpenSearch官网文档>Aggregations章节中对应聚合方式的示例结构书写。DSL计算公式的书写需遵循DSL语句的基本语法结构（具体请参见OpenSearch官网文档）及以下特有约束。

  • 聚合方式及聚合层数约束

    • 当前不支持并行聚合（Multiple aggregation）查询；

    • 支持的聚合方式如下：

1）分桶聚合：date_histogram（日期直方图）、terms（词条）、filters（过滤）、range（范围）、date_range（日期范围）；

2）值聚合：value_count（计数）、cardinality（去重计数）、sum（求和）、avg（均值）、max（最大值）、min（最小值）、top_hits（桶内排序取 Top N）。

    • 支持配置的分桶聚合层数需≤7，值聚合层数需＝1，各层聚合的聚合名称不能重复。

  • 子聚合约束

    • date_histogram（日期直方图） 

      • 计算公式中必须包含date_histogram，且只能有一个；

      • date_histogram 分桶聚合下的子聚合类型需为值聚合。

    • top_hits（桶内排序取 Top N）

      • top_hits 需满足如下结构：

"size": <number>,
"sort": [
    {
        "<sort_field_name>": {
            "order": "desc | asc"
        }
    }
],
"_source": {
    "includes": [
        "<field_name1>",
        "<field_name2>",
        ......
    ]
}

校验说明：1. 完成指标模型的配置后，点击【数据预览】/【保存】按钮，系统将对计算公式（PromQL语句/DSL语句)的合法性进行校验，校验通过后，方可预览指标数据/成功创建指标模型；2. 当前暂不支持对查询语句中字段的权限进行校验，若查询了日志分组中不存在的字段，数据查询结果则为空。

注意：当前版本仅支持DSL的时序分析。

*度量字段：仅当*查询语言选择“DSL”时，此项可配置且为必填项，配置说明如下： 

    • 当计算公式中的值聚合方式为top_hits时，此处配置的度量字段应为top_hits中_source所包含的字段名称，且此字段名称对应的字段类型应为数值字段，不兼容日期。

    • 当计算公式中的值聚合方式为其他类型时，此处配置的度量字段应为公式中的值聚合名称，若配置的度量字段与值聚合名称不匹配，系统将会报错。

 说明：度量字段为必填项。

*单位类型：根据实际指标需求设置输出指标（即“度量值”）的度量单位类型，可选项包括：数值单位、存储单位、时间单位、传输速率。

*度量单位：根据实际指标需求设置输出指标（即“度量值”）的度量单位，不同单位类型下可选择的具体度量单位如下：

    • 数值单位：无, 千, 百万, 十亿, 万亿,%

    • 存储单位：bit(s), Byte(s), KB, MB, GB, TB, PB

    • 时间单位：微秒，毫秒, 秒, 分, 时, 天, 周, 月, 年

    • 传输速率：bps, Kbps, Mbps

► 预览指标数据
完成指标模型各项参数的配置后，点击表单下方的【数据预览】，可在页面右侧弹出的抽屉中预览此模型定义的指标数据，包括指定统计周期内的指标趋势图、指标数据，如下所示：

说明：数据预览抽屉默认展示最近30分钟的数据，数据的默认步长会因指标模型已配置的查询语言及计算公式中的数据间隔（interval）值的不同而有所不同，具体如下：

1. 当指标模型的查询语言为“PromQL”，预览数据时默认步长为6min；

2. 当指标模型的查询语言为“DSL”：

    • 若计算公式中配置的间隙（interval）值为常量，预览数据的默认步长为已配置的间隙（interval）值；
    • 若计算公式中配置的间隙（interval）值为变量，预览数据的默认步长为6min。

提示：在时序数据中，“步长”指的是时间序列相邻数据点之间的时间间隔或间距，步长的设置对于时序数据的分析、建模非常重要，需要结合具体场景及数据特征进行设置，较小的步长可以提供更为详细和动态变化的数据，同时也会导致数据量激增从而提高对计算性能的要求。

指标模型数据预览项说明：
  参数 参数说明
筛选 查询类型 必选项。设置筛选的类型，可选项：范围查询、即时查询。
时间范围/时间

必选项。设置筛选的时间范围或时间点，具体如下：

・当查询类型选择“范围查询”时，需配置具体的“时间范围”，默认为“最近30分钟”。筛选成功生效后，预览抽屉下方的<指标趋势图>、<指标数据预览表>区域将只展示匹配此时间范围的数据预览结果。

・当查询类型选择“即时查询”时，需配置具体的“时间”点，默认为当前日期及当前时刻。筛选成功生效后，预览抽屉下方的<指标数据预览表>区域将展示此时间点的数据预览结果。

提示：选择“即时查询”后，仅可查看指定时间点的<指标数据预览表>。
筛选条件 选填项。设置筛选的维度（lables字段值）及维度值，如设置的筛选维度为“cpu”、维度值为“1”，下方的<指标趋势图>、<指标数据预览表>区域将展示维度包含“cpu=1”的统计结果。点击“+添加筛选条件”可添加多个维度条件。
指标趋势图预览 指标趋势图 仅当选择【范围查询】时，可查看此趋势图。<指标趋势图>以时间为横轴，以度量值（度量值单位为系统自动转换的单位）为纵轴，展示了符合筛选条件的指标在指定时间范围内的趋势。通过预览指标趋势，您可根据实际指标需求及时调整指标模型的相关参数。
指标数据预览 指标数据预览表

<指标数据预览表>展示了指定时间周期/时间点内符合筛选条件的指标数据，具体如下：

・维度：即指标模型执行计算公式（即查询语句）后，在来源日志库中查询到的指标数据的lables字段值；

・时间：即指标模型执行计算公式（即查询语句）后，在来源日志库中查询到的指标数据的@timestamp字段值；

・度量值：即指标模型执行计算公式（即查询语句）后得到的计算结果。为便于展示且方便用户查看，在预览时，此度量值的单位为系统自动转换的单位。

 

 

 

 

 

 

 

 

 

 

 

 

► 其他管理操作

•  批量导入创建指标模型

进入指标模型配置页面，点击列表上方的【导入】按钮，在弹出的窗口中选中包含指标模型配置信息的文件，点击【打开】后即可批量导入并创建指标模型。

注意：

1. 仅支持导入json格式的文件；

2. 支持导入多个指标模型：导入时，若指标模型的日志分组名称不存在，则导入操作失败。您需在完成对应日志分组的创建后，再进行导入操作；若AnyRobot中存有重名的指标模型对象，则导入动作将会停止，导入操作失败；

3. 批量导入失败后，您可在审计日志中查看对应的“失败”记录。

在指标模型列表中勾选某一指标模型后，点击列表上方的【导出】按钮，可将已创建的指标模型以“.json”格式导出，如下所示：

提示：支持导出多个指标模型。

•  查看/编辑/删除指标模型

在指标模型配置页面，选中列表中需查看/修改/删除的指定模型后，点击列表操作列的“查看/编辑/删除”按钮后，系统可分别执行对应操作。

说明：

1. 支持删除已被系统其他模块引用的指标模型，删除后，引用该模型的其他分析模块将会报错提示；

2. 指标模型被删除后，您可在审计日志中查看相应的“删除”日志。