数据转发

完成配置后，点击步骤条右侧【下一步】按钮，进入"源端配置"步骤页。

2. 配置数据转发源端信息

"源端配置"限制说明如下：

• *数据来源类型：设置转发任务的数据来源，可选项：解析前数据、解析后数据、原始数据。默认转发解析前数据。配置后，转发任务的实际转发情况如下所示：

• 解析前数据：即包含原日志数据及其采集信息（例如数据类型、时间戳等）的数据。配置为“解析前数据”后，此任务将转发以anyrobot_data-replicator.*，<tenant>.ar.raw.* ，<tenant>.ar.dr.*开头的topic中的数据；

• 解析后数据：即经过解析处理后的数据。配置为“解析后数据”后，此任务将转发以<tenant>.ar.process.*开头的topic中的数据；

• 原始数据：即原日志数据。配置为“原始数据”后，此任务将转发以anyrobot_data-replicator.*，<tenant>.ar.raw.*，<tenant>.ar.dr.*开头的topic中的message字段内容。

需注意，当源端数据不存在message字段，则转发任务无法转发“原始数据”。例如：当源端数据是通过远程采集、SuperAgent方式采集的，此种情况下，原始数据中无message字段，任务无法转发“原始数据”；当源端数据是通过文件采集、本地上传等方式采集的，您可以配置转发数据来源为“原始数据”，进行原日志数据（即JSON中的message字段内容）的转发。

• *数据范围：设置需要转发的数据范围，支持选择全部数据、部分数据。

• 全部数据：表示将转发所选数据类型涉及的所有索引库的数据；

• *数据来源：仅当数据范围选择“部分数据”时，此项可配置，且为必填项。点击【选择数据来源】，在弹出的配置窗口中勾选所需数据的具体来源索引库。

• 筛选字段：表示需要进行过滤的字段名称。点击下拉框，在已配置的来源字段中选择，此处以“host”字段为例。

注意：当右侧运算符需配置为“相似（like）”、“不相似（not_like）“、”正则（regex）”时，此处配置的过滤字段必须为字符串类型，例如text、keyword类型。

• 运算符：即过滤条件中使用的逻辑运算符。当左侧筛选字段的值与右侧配置的目标值满足指定运算符表示的逻辑关系时，命中此过滤条件。点击下拉框，支持配置以下运算符：

说明：当前支持添加17种运算符，具体包括：等于(eq)、不等于(ne)、大于(gt)、大于等于(gte)、小于(lt)、小于等于(lte)、属于(in)、不属于（not_in）、相似（like）、不相似（not_like）、包含（contain）、不包含（not_contain）、范围内（range）、范围外（out_range）、存在（exist）、不存在（not_exist）、正则（regex）。

• 等于(eq)：表示左侧指定筛选字段（此处为"host"）的值与右侧配置的目标值完全相等，命中此过滤条件。例如，过滤条件为 “host eq webserver1” ，表示筛选出host字段值等于“webserver1”的数据，即：

注意：右侧配置的目标值需为单个值，不能为数组。否则无法实现精确相等的判定。

• 不等于(ne)：表示左侧指定筛选字段（此处为"host"）的值与右侧配置的目标值不相等，命中此过滤条件；例如，过滤条件为 “host nq webserver1" ，表示筛选出host字段值不等于“webserver1”的数据，即：

注意：右侧配置的目标值需为单个值，不能为数组。否则无法实现精确不相等的判定。

• 大于(gt)：表示左侧指定筛选字段（此处为"host"）的值大于右侧配置的目标值，命中此过滤条件；

注意：右侧配置的目标值需为单个值，不能为数组。

• 大于等于(gte)：表示左侧指定筛选字段（此处为"host"）的值大于或等于右侧配置的目标值，命中此过滤条件；

注意：右侧配置的目标值需为单个值，不能为数组。

• 小于(lt)：表示左侧指定筛选字段（此处为"host"）的值小于右侧配置的目标值，命中此过滤条件；

注意：右侧配置的目标值需为单个值，不能为数组。

• 小于等于(lte)：表示左侧指定筛选字段（此处为"host"）的值小于或等于右侧配置的目标值，命中此过滤条件；

注意：右侧配置的目标值需为单个值，不能为数组。

注意：右侧配置的目标值需为字符串。

• 包含(contain)：表示左侧指定筛选字段（此处为"host"）的值包含了右侧配置的单个目标值或目标值数组中的所有值，命中此过滤条件。例如，过滤条件为 ‘host contain "web"’，表示筛选出host字段值包含 "web" 的数据，即： 

注意：左侧指定筛选字段（此处为"host"）的值为数组，右侧配置的目标值需为单个值或数组。若右侧目标值为数组，则当数组中的所有值都在左侧指定字段值的数组内时，方可命中此过滤条件。

• 不包含(not_contain)：表示左侧指定筛选字段（此处为"host"）的值不能包含右侧配置的单个目标值或目标值数组中的所有值，命中此过滤条件。例如，过滤条件为 "host not_contain ‘server1’"，表示筛选出host字段值不包含 "server1" 的记录，即： 

注意：左侧指定筛选字段（此处为"host"）的值为数组，右侧配置的目标值需为单个值或数组。若右侧目标值为数组，则当数组中的所有值都在左侧指定字段值的数组外时，方可命中此过滤条件。

• 范围内(range)：表示左侧指定筛选字段（此处为"host"）的值在右侧目标值范围内，命中此过滤条件。例如，过滤条件为 “host out_range [‘a’, ’n‘]”，表示筛选出在指定范围内的主机名称的记录，即：

注意：右侧目标值需配置为长度为2的数组，边界为左闭右开，即 [ value[0], value[1] )。此种情况下，符合过滤条件的值区间为 [ value[0], value[1] )，即左侧指定字段值中 ≥value[0] 且＜value[1] 的值。

• 范围外(out_range)：表示左侧指定筛选字段（此处为"host"）的值在右侧目标值范围外，命中此过滤条件。例如，过滤条件为 ”host out_range [’a‘, ‘n’]“，表示筛选出不在指定范围内的主机名称的数据，即：

注意：右侧目标值需配置为长度为2的数组，边界为左闭右开, 即 [ value[0],  value[1] )。此种情况下，符合过滤条件的值的区间为 (-inf, value[0] ) & [ value[1], +inf )，即左侧指定字段值中＜value[0] 或 ≥value[1] 的值。

• 存在(exist)：表示存在左侧指定筛选字段（此处为"host"）的数据，将命中此过滤条件。例如，过滤条件为 ‘host exist’，表示筛选出存在host字段的数据；

• 不存在(not_exist)：表示不存在左侧指定筛选字段（此处为"host"）的数据，将命中此过滤条件。例如，过滤条件为 ‘host not_exist’，表示筛选出不存在host字段的数据；

• 正则(regex)：表示左侧指定筛选字段（此处为"host"）的值匹配了右侧配置的正则表达式时，命中此过滤条件。例如，过滤条件为 host regex "^web"，表示筛选出host字段值以 "web" 开头的数据，即：

• 有效值类型：表示过滤条件中，用于与左侧字段值比较的目标值的数据类型，当前仅支持"常量"，即过滤条件直接使用指定的常量值作为目标值，而非从数据集或其他字段中提取的值。

• 目标值：表示过滤条件中用于与字段值比较的目标值。

› 添加多层级过滤条件

支持添加多层级过滤条件，当前最多支持添加3层级的过滤条件，点击“””“按钮，即可依次添加；点击添加按钮左侧的““按钮，即可删除对应层级的过滤条件。多层级过滤条件之间支持配置“且”与“或”关系，点击对应层级的“”按钮，即可切换多层级过滤条件的关联关系为“或”。

› 添加多个过滤条件

同一层级的过滤条件支持添加多个过滤条件，当前同一层级最多支持添加10个过滤条件，点击过滤条件下方的”+添加过滤条件“，即可添加；点击过滤条件尾部的““按钮，即可删除对应过滤条件。

• *目标端类型：设置数据转发目标端支持的协议类型，可选项：Syslog、TCP、UDP，具体如下：

· Syslog：当目标端支持的协议类型为Syslog时，可选择的传输协议为UDP、TCP，默认为UDP传输协议；

- Syslog协议格式：<PRI> TIMESTAMP HOSTNAME APP-NAME[PID]: MESSAGE

- <PRI> ：消息的优先级，值是Facility（日志来源类型）和Severity（日志级别）位或的结果，默认是13，即二进制1101。Facility默认是user-level（8，即二进制1000），Severity默认是Notice（5，即二进制0101）；

- TIMESTAMP：发送消息的时间，RFC 3339格式的时间字符串，具体格式为yyyy-MM-ddTHH:mm:ssZ；

- HOSTNAME：主机名，即数据转发任务的主机名，默认为数据转发任务的podname；

- APP-NAME：应用程序名，即数据转发服务名，默认为 anyrobot-data-forward； 

- PID：进程标识符，即数据转发服务的进程号；

- MESSAGE：消息内容，参考TCP、UDP协议的数据内容。

Syslog协议数据样例：

<13>2024-03-18T14:40:31+08:00 data-forward-job-505353887243352180-75f5749984-m62kn anyrobot-data-forward[1]: {"ruleName":null,"@version":"1","@timestamp":"2024-03-18T06:40:30.042Z","fileName":"测试无乱序.txt","message","2","type":"kai","__index_base","kai","tags":[],"port":60556,"host":"10.4.37.8","offset":6,"__data_type":"kai"}

· TCP：当目标端支持的协议类型为TCP时，目标端传输协议只能为TCP；

· UDP：当目标端支持的协议类型为UDP时，目标端传输协议只能为UDP。

注意：目标端类型不能为空。

• *目标端地址：设置数据转发目标端的IP地址。

注意：

1.目标端类型不能为空；

2. 目标端地址支持配置为域名格式，不支持同时配置多个目标端地址。