更新时间：2024-07-24 15:05:45

数据转发支持在日志数据采集到本系统的同时，通过TCP、UDP和Syslog协议同步转发至第三方设备或系统。数据转发管理页面支持创建、删除、修改、查看、开启/关闭数据转发任务等功能操作，详细说明如下：
► 创建数据转发任务

进入数据管理>数据开放>数据转发页面，点击【+新建】进入配置页面，如下所示：

1. 配置基本任务信息

元素名称
 元素说明 限制条件
*任务名称 设置数据转发任务的名称

• 名称不能为空且不能重复；

• 名称不能超过40个字符
标签

设置数据转发任务的标签，用于添加数据标识，实现任务筛选。

• 支持添加多个标签，标签个数不能超过5个；

• 单个标签不能超过40字符；

• 标签不能包含 / : ? \ " < > | ： ？ ‘ ’ “ ” ！《 》 , # [ ] { } % & * $ ^ ! = . ”特殊字符
备注 设置数据转发任务的其他注释信息

• 备注信息不能超过255个字符

完成配置后，点击步骤条右侧【下一步】按钮，进入"源端配置"步骤页。

2. 配置数据转发源端信息

"源端配置"限制说明，请参见下表：

元素名称 元素说明 限制条件
*数据来源

设置转发任务的数据来源，可选项：解析前数据、解析后数据、原始数据。默认转发解析前数据。配置后，转发任务的实际转发情况如下所示：

  • 解析前数据：即包含原日志数据及其采集信息（例如数据类型、时间戳等）的数据。配置为“解析前数据”后，此任务将转发以anyrobot_data-replicator.*，<tenant>.ar.raw.* ，<tenant>.ar.dr.*开头的topic中的数据；
  • 解析后数据：即经过解析处理后的数据。配置为“解析后数据”后，此任务将转发以<tenant>.ar.process.*开头的topic中的数据；
  • 原始数据：即原日志数据。配置为“原始数据”后，此任务将转发以anyrobot_data-replicator.*，<tenant>.ar.raw.*，<tenant>.ar.dr.*开头的topic中的message字段内容。

需注意，当源端数据不存在message字段，则转发任务无法转发“原始数据”。例如：当源端数据是通过远程采集、SuperAgent方式采集的，此种情况下，原始数据中无message字段，任务无法转发“原始数据”；当源端数据是通过文件采集、本地上传等方式采集的，您可以配置转发数据来源为“原始数据”，进行原日志数据（即JSON中的message字段内容）的转发。

-
选择索引库

点击【选择索引库】，在页面右侧的抽屉中选择转发数据的来源索引库，支持勾选多个索引库。若未指定索引库，则默认选择本地Kafka缓存中的全部数据。若找不到数据转发所需的索引库，点击抽屉下方的"新建索引库"创建。

 -
筛选条件

完成筛选条件设置后，系统将基于 host 字段值对转发的数据内容进行过滤。若未设置筛选条件，则默认转发全部数据。

提示：

1. 支持添加多个筛选条件，多个筛选条件可以通过OR或AND进行逻辑组合添加；

2. 当前添加多域host字段值进行组合筛选时，多个host字段筛选条件之间建议配置为OR的逻辑关系。若配置为AND逻辑关系，则此任务将不会进行数据转发。

 -

完成配置后，点击步骤条右侧【下一步】按钮，进入"目标端配置"步骤页。

3. 配置数据转发目标端信息

• *目标端类型：设置数据转发目标端支持的协议类型，可选项：Syslog、TCP、UDP，具体如下：

· Syslog：当目标端支持的协议类型为Syslog时，可选择的传输协议为UDP、TCP，默认为UDP传输协议；

- Syslog协议格式：<PRI> TIMESTAMP HOSTNAME APP-NAME[PID]: MESSAGE

- <PRI> ：消息的优先级，值是Facility（日志来源类型）和Severity（日志级别）位或的结果，默认是13，即二进制1101。Facility默认是user-level（8，即二进制1000），Severity默认是Notice（5，即二进制0101）；

- TIMESTAMP：发送消息的时间，RFC 3339格式的时间字符串，具体格式为yyyy-MM-ddTHH:mm:ssZ；

- HOSTNAME：主机名，即数据转发任务的主机名，默认为数据转发任务的podname；

- APP-NAME：应用程序名，即数据转发服务名，默认为 anyrobot-data-forward； 

- PID：进程标识符，即数据转发服务的进程号；

- MESSAGE：消息内容，参考TCP、UDP协议的数据内容。

Syslog协议数据样例：

<13>2024-03-18T14:40:31+08:00 data-forward-job-505353887243352180-75f5749984-m62kn anyrobot-data-forward[1]: {"ruleName":null,"@version":"1","@timestamp":"2024-03-18T06:40:30.042Z","fileName":"测试无乱序.txt","message","2","type":"kai","__index_base","kai","tags":[],"port":60556,"host":"10.4.37.8","offset":6,"__data_type":"kai"}

· TCP：当目标端支持的协议类型为TCP时，目标端传输协议只能为TCP；

· UDP：当目标端支持的协议类型为UDP时，目标端传输协议只能为UDP。

注意：目标端类型不能为空。

• *目标端地址：设置数据转发目标端的IP地址。

注意：

1.目标端类型不能为空；

2. 目标端地址支持配置为域名格式，不支持同时配置多个目标端地址。

• *目标端端口：设置数据转发目标端的端口号。

注意：

1.目标端端口不能为空；

2. 目标端端口号需为1-65535之间的正整数，不支持同时配置多个目标端端口号。

 

注意：新建或修改数据转发任务时，若目标端地址、目标端口、数据来源的三个参数同时与已有任务重复，则此新建或修改操作都将失败。

目标端配置完成后，点击步骤条右侧的【下一步】即可验证数据转发源端与目的端的连通状态，若配置不通页面会有报错提示，需修正后再次进行连通验证。验证通过后，方可进入数据转发任务的"高级配置"步骤页。

4. 配置数据转发任务资源上限

元素名称 元素说明 限制条件
*CPU限额

设置允许此转发任务占用的CPU上限，默认为1（单位C）

提示：建议您根据并行的转发任务数量以及CPU资源使用情况调整此任务占用的CPU上限，保证多任务正常并行的同时实现资源的合理利用。

• 输入的限额数值应为整数，需＞0且≤8，单位为C
*内存限额

设置允许此转发任务占用的内存上限，默认为2048（单位MiB）

提示：建议您根据并行的转发任务数量以及内存资源使用情况调整此任务占用的内存上限，保证多任务正常并行的同时实现资源的合理利用。

• 输入的限额数值应为整数，需＞0且≤8192，单位为MiB

► 查看数据转发任务列表

数据转发任务配置完成后，进入数据转发管理页面，在此页面可以开启/关闭任务，查看任务运行状态等，如下所示：

注意：任务状态：用于监控当前数据转发任务的执行状态：

• 运行中：数据转发任务正常运行中；
• 失败：数据转发任务执行失败；
• 关闭：任务未开启，未执行转发。

► 编辑/删除数据转发任务

进入数据转发管理页面，在操作列表中点击【编辑】/【删除】可以修改、删除指定数据转发任务。