更新时间:2023-12-21 16:16:58

AnyRobot SuperAgent管理端提供了针对日志、链路、指标、业务等各类数据摄入任务的统一管理入口。您可根据实际数据需求,在SuperAgent管理模块进行数据摄入任务的创建、查看、修改、删除等管理操作,具体操作说明如下:

注意:当前版本SuperAgent管理模块仅支持配置管理数据接收任务,针对各类数据采集任务的统一管理能力将跟随AnyRobot版本迭代持续上线,感谢关注!

下文主要以数据接收任务为示例进行说明:

 相关概念

• 执行器:负责接收AnyRobot SuperAgent管理端下发的数据摄入任务,拉起对应摄入任务的接收器资源后,并将任务分配给对应接收器;

• 接收器:负责接收各种数据源发送过来的数据,进行数据处理后发送至AnyRobot的程序。

如何基于AnyRobot  SuperAgent完成机器数据的接收?

部署执行器

1. 完成执行器的部署:您需根据自身部署平台的CPU架构(ARM或x86)将对应的执行器成功部署至目标主机/集群。具体部署操作说明,请参考对应版本的《AnyRobot Family 5 数据接收执行器实施指导》手册;

配置接收任务

2. 创建数据接收任务:进入AnyRobot SuperAgent管理模块,根据实际数据需求配置数据接收任务,包括基本任务信息、接收、处理及输出数据等任务参数。具体配置操作说明请参见 创建数据接收任务

3. 下发数据接收任务:完成上述配置后,您可将此接收任务下发至对应执行器(参考步骤1),执行器将基于任务参数自动拉起适于指定数据类型的接收器,并根据数据处理参数对接收到的数据进行加工处理,再按照数据输出参数将其发送至指定Kafka中,待后续数据流使用。具体配置操作请参见 下发数据接收任务

注意:下发数据接收任务前,请务必确认所需执行器已成功部署至目标主机或目标Kubernetes集群,否则数据摄入任务将无法执行!您也可以先行配置接收任务参数,待部署完成后再下发此任务。

► 创建数据接收任务

进入数据管理>数据源>SuperAgent管理配置页面,您可在此页面新建数据接收任务,查看、修改系统已有的接收任务。具体如下:

1. 选择数据摄入方式

点击 SuperAgent管理 配置页左上角的【+新建】按钮,配置数据摄入任务的“摄入方式”,如下所示:

摄入方式选项卡片右上角为AnyRobot支持的执行器的最新版本号(如上图所示,最新版本为1.3.0)。选中对应摄入方式后,即可点击【下一步】,进入“摄入配置”步骤页。

注意:

1. 当前仅支持配置数据接收任务;

2. “摄入方式”为必选项,不得为空,否则无法继续配置此任务;

3. 若您当前部署的执行器小于此版本,建议升级执行器版本后再进行对应数据接收任务的创建及下发操作。

2. 配置数据摄入参数

“摄入配置”步骤页的参数决定了数据接收器如何接收、处理及输出接收到的数据,具体说明如下:

1)任务基本信息

在“基本配置”区域,填写任务名称、任务ID等基本任务信息,配置时的限制说明具体如下:
配置参数 参数说明 限制条件
*任务名称

设置数据接收任务的任务名称。

• 特殊字符仅支持包含连字符-;

• 任务名称不能重复,且不能为空;

• ≤40个字符

任务ID

选填项,默认为随机数,也可自定义设置。
任务ID(即job_id)是任务的唯一标识,将作为上报地址(URL链接)的一部分。数据发送端会基于此地址信息进行数据上报。

• 任务ID不能以除字母、数字之外的字符开头,且不能包含除字母、数字、连字符-之外的字符来命名;

• 任务ID不能重复;

• ≤20个字符

备注

设置数据接收任务的备注信息,仅用于任务标识。

• ≤255个字符

2)数据输入参数

在“数据输入配置”区域,配置接收器接收到的数据类型及数据传输协议,具体配置说明如下:

*输入类型:根据实际数据需求,选择接收的数据类型,可选项:AnyRobot自定义日志类型(默认选项)、AnyRobot自定义指标类型、AnyRobot自定义事件类型、OpenTelemetry链路类型、OpenTelemetry指标类型。AnyRobot自定义数据类型的数据格式示意如下:

AnyRobot自定义日志类型

AnyRobot自定义指标类型

AnyRobot自定义事件类型

说明:"*输入类型"需根据此数据接收场景中数据接收器所支持的数据类型进行选择,否则此任务将无法成功接收数据。

*输入协议:设置此接收任务接收数据时的传输协议,默认为HTTP。

3)数据处理参数

点击“数据处理配置”区域的【添加处理方式】按钮,弹出“添加处理方式”配置窗口,具体如下:

可根据实际数据接收场景自定义设置 接收器处理接收到数据的方式,配置项具体说明如下:

*处理类型:由“数据输入配置”中的“*输入类型决定,此处不支持修改。

*索引库:在下拉框中选择此摄入数据的指向索引库,AnyRobot接收到此数据后,将基于此索引模板生成并存储索引数据到索引库,以便后续实现高效的数据存储、数据流转、全局搜索等数据应用。

说明:索引库为必选项,不能为空。

数据标签:可选项。可设置需在接收数据中添加的数据类型,即tags字段。成功添加后,您可基于此字段进行搜索筛选。

说明:数据标签不能为空;且单个标签的长度≤40个字符。

添加日志自定义label:当*输入类型为“AnyRobot自定义指标类型”、”OpenTelemetry指标类型”时,此项可配置。您可自行定义需添加到指标数据中的label字段及对应值,以丰富指标聚合计算等场景中所需的指标数据。

说明:添加的自定义label字段名称不能重复;添加的自定义label个数需≤10个。

数据源信息:当*输入类型为“AnyRobot自定义日志类型”、“AnyRobot自定义事件类型“、”OpenTelemetry链路类型“、”OpenTelemetry指标类型”时,此项可配置,且为必选项。您可根据数据发送端(Exporter)的部署方式,在接收数据中添加Exporter所在的物理主机及操作系统信息,包括主机IP地址、操作系统等信息,用于帮助分析、定位数据接收过程中数据发送端的故障问题。具体如下:

      • 当数据发送端(Exporter)以主机形式部署时,请勾选“添加主机信息与操作系统信息”;
      • 当数据发送端(Exporter)以容器形式部署时,请勾选“添加K8s信息”。

说明:部署在数据发送端的接收器需要跟exporter运行在同一个Kubernetes集群中,否则接收器无法通过Kubernetes获取到exporter容器的相关信息,将无法添加相应的信息。

4)数据输出参数

“数据输出配置”用于配置接收器的数据输出参数,接收器将根据此处的配置参数将已简单加工、处理过的数据发送至指定Kafka中。配置可选项包括:“默认配置”、“自定义配置”,具体如下:

      • 默认配置:“默认配置”下,加工处理完成后的数据将被发送并缓存在AnyRobot默认kafka中;
      • 自定义配置:选择“自定义配置”后,需根据实际需求自行配置数据输出参数,加工处理完的数据将被发送并缓存在此处配置的Kafka中,如下所示:

关于输出参数的具体说明,请参见下表:
  配置参数 参数说明 限制条件
*配置方式(自定义配置)
*kafka输出地址 输入Kafka的IP地址,用于缓存接收器处理完成的数据。点击空白处或按回车键可添加多个地址

• kafka输出地址不能为空

*sasl认证用户名 设置连接Kafka服务的认证用户名

• sasl认证用户名不能为空

*sasl认证密码 设置连接Kafka服务的对应认证密码

• sasl认证密码不能为空

完成已上配置后,点击【下一步】进入“下发配置”配置页。

► 下发数据接收任务

进入"下发配置"页后,可配置接收并执行此接收任务的下发对象(即执行器)。任务下发到指定执行器后,执行器将进行任务调度并根据任务参数拉起对应类型的接收器,以接收指定类型数据。

 

点击“配置下发对象”右侧的【新增】按钮,页面右侧弹出的“配置下发对象”抽屉中罗列了当前已成功部署的所有执行器、IP、部署方式、状态及版本号等信息。您需要根据执行器的实际部署情况勾选用于接收此数据摄入任务的执行器,点击【确认】即可。

注意:执行器有正常、离线、异常三种状态;下发数据接收任务时,仅支持勾选状态为“正常”的执行器。

点击【下一步】即可完成此数据摄入任务的创建,可点击【查看任务列表】/【新建更多任务】分别查看系统中所有已创建的摄入任务或继续创建更多任务,如下所示:

注意:完成下发配置的操作后,即表示此任务已结束创建流程,不可退回至前序步骤修改任务配置参数。若需修改,需在任务列表中的“操作”列完成。

► 查看数据摄入任务列表

数据摄入任务列表展示了用户在AnyRobot管理端创建的所有任务,您可在此列表总览任务创建情况,进行任务管理。如下所示:

列表相关元素说明详见下表:

列表元素 元素说明
任务名称

展示任务的名称

摄入方式

展示任务的数据摄入方式,当前支持配置“数据接收”任务。

最新更新时间 展示任务最近一次的修改时间
操作 用于管理已创建的数据摄入任务。点击“查看”按钮,可查看摄入任务的任务详情,即在创建此任务时的配置参数信息;点击“编辑/删除”按钮,可修改/删除对应的数据摄入任务。

点击操作列的“查看”按钮,可查看指定数据摄入任务的详情信息,包括“摄入配置”详情、“下发配置”详情以及“任务实例”详情,具体如下:

1)查看“摄入配置”详情,获取数据上报地址

展示了任务已配置的“摄入配置”参数详情,包括任务的基本配置信息、数据处理配置信息、数据输入配置信息以及数据输出配置信息。为确保数据在发送时能够正确发送到对应的数据接收器,您需在配置数据发送时写入上报数据的地址信息(在基本配置信息中获取包含接收器地址信息的上报数据地址),如下图红框所示:

2)查看“下发配置”详情

展示了任务已配置的“下发配置”参数详情,包括下发对象(执行器)的IP地址、部署方式、运行状态、版本号以及最近一次的更新时间等信息,如下所示:

3)查看“任务实例”详情,实现任务实例生命周期管理

展示了执行此任务的具体实例的基本运行信息。您可在任务运行出现故障时,进入此详情页了解任务执行分支的具体状态信息,以便快速定位故障节点,高效排障。

注意:

1. 列表区域展示了您在AnyRobot管理端创建的所有数据摄入任务,包括基于老版本执行器创建和下发的数据摄入任务、AnyRobot自带的四个默认摄入任务(用于实现AnyRobot自身的可观测性),以及通过接口创建的其他任务(此类任务并非在管理端创建,因此仅支持查看任务详情,不支持对此类任务的修改、删除操作);

2. 当AnyRobot兼容了最新版本的执行器后,基于老版本执行器创建的任务仍将正常运行,但不可对其进行编辑操作;若需使用执行器的最新功能,建议您及时升级执行器版本,再重新创建相应的数据接收任务;