数据转发支持在日志数据采集到本系统的同时,通过TCP、UDP和Syslog协议同步转发至第三方设备或系统。数据转发管理页面支持创建、删除、修改、查看、开启/关闭数据转发任务等功能操作,详细说明如下:
► 创建数据转发任务
进入数据管理>数据开放>数据转发页面,点击【+新建】进入配置页面,如下所示:
1. 配置基本任务信息
完成配置后,点击步骤条右侧【下一步】按钮,进入"源端配置"步骤页。
2. 配置数据转发源端信息
"源端配置"限制说明,请参见下表:
完成配置后,点击步骤条右侧【下一步】按钮,进入"目标端配置"步骤页。
![](https://assets.aishu.cn/images/abf217590315151010f51de17524833d.png)
• *目标端类型:设置数据转发目标端支持的协议类型,可选项:Syslog、TCP、UDP,具体如下:
· Syslog:当目标端支持的协议类型为Syslog时,可选择的传输协议为UDP、TCP,默认为UDP传输协议;
- Syslog协议格式:<PRI> TIMESTAMP HOSTNAME APP-NAME[PID]: MESSAGE
- <PRI>
:消息的优先级,值是Facility(日志来源类型)和Severity(日志级别)位或的结果,默认是13,即二进制1101。Facility默认是user-level(8,即二进制1000),Severity默认是Notice(5,即二进制0101);
- TIMESTAMP
:发送消息的时间,RFC 3339格式的时间字符串,具体格式为yyyy-MM-ddTHH:mm:ssZ;
- HOSTNAME
:主机名,即数据转发任务的主机名,默认为数据转发任务的podname;
- APP-NAME:应用程序名,即数据转发服务名,默认为 anyrobot-data-forward;
- PID
:进程标识符,即数据转发服务的进程号;
- MESSAGE
:消息内容,参考TCP、UDP协议的数据内容。
Syslog协议数据样例:
<13>2024-03-18T14:40:31+08:00 data-forward-job-505353887243352180-75f5749984-m62kn anyrobot-data-forward[1]: {"ruleName":null,"@version":"1","@timestamp":"2024-03-18T06:40:30.042Z","fileName":"测试无乱序.txt","message","2","type":"kai","__index_base","kai","tags":[],"port":60556,"host":"10.4.37.8","offset":6,"__data_type":"kai"}
· TCP:当目标端支持的协议类型为TCP时,目标端传输协议只能为TCP;
· UDP:当目标端支持的协议类型为UDP时,目标端传输协议只能为UDP。
注意:目标端类型不能为空。
• *目标端地址:设置数据转发目标端的IP地址。
注意:
1.目标端类型不能为空;
2. 目标端地址支持配置为域名格式,不支持同时配置多个目标端地址。
• *目标端端口:设置数据转发目标端的端口号。
注意:
1.目标端端口不能为空;
2. 目标端端口号需为1-65535之间的正整数,不支持同时配置多个目标端端口号。
注意:新建或修改数据转发任务时,若目标端地址、目标端口、数据来源的三个参数同时与已有任务重复,则此新建或修改操作都将失败。
目标端配置完成后,点击步骤条右侧的【下一步】即可验证数据转发源端与目的端的连通状态,若配置不通页面会有报错提示,需修正后再次进行连通验证。验证通过后,方可进入数据转发任务的"高级配置"步骤页。
4. 配置数据转发任务资源上限
![](https://assets.aishu.cn/images/0a1aa1ed00ec0936f2a3cfc06e4ad78c.png)
元素名称 | 元素说明 | 限制条件 |
*CPU限额 |
设置允许此转发任务占用的CPU上限,默认为1(单位C) 提示:建议您根据并行的转发任务数量以及CPU资源使用情况调整此任务占用的CPU上限,保证多任务正常并行的同时实现资源的合理利用。 |
• 输入的限额数值应为整数,需>0且≤8,单位为C |
*内存限额 |
设置允许此转发任务占用的内存上限,默认为2048(单位MiB) 提示:建议您根据并行的转发任务数量以及内存资源使用情况调整此任务占用的内存上限,保证多任务正常并行的同时实现资源的合理利用。 |
• 输入的限额数值应为整数,需>0且≤8192,单位为MiB |
► 查看数据转发任务列表
数据转发任务配置完成后,进入数据转发管理页面,在此页面可以开启/关闭任务,查看任务运行状态等,如下所示:注意:任务状态:用于监控当前数据转发任务的执行状态:
• 运行中:数据转发任务正常运行中;
• 失败:数据转发任务执行失败;
• 关闭:任务未开启,未执行转发。
► 编辑/删除数据转发任务
进入数据转发管理页面,在操作列表中点击【编辑】/【删除】可以修改、删除指定数据转发任务。