更新时间:2024-11-27 16:52:23

数据管理>数据源>数据集成>采集配置模板页面,点击【+新建】进入新建模板配置页面,填写采集配置模板名称和备注:

元素名称 元素说明
*采集配置模板名称 设置配置模板名称,有40个字符长度限制
备注 非必填项,添加对模板的一些备注信息

点击下一步,集成方式选择【日志文件采集】,点击【下一步】进入新建日志文件采集配置模板页面,具体配置如下所示:
► 数据来源配置:

元素名称 元素说明
*文件路径 添加采集指定路径下的文件,灰色文字示例:C:\ProgramData\audit\*.log或/var/log/audit/*.log
数据标签 对采集的数据加标签说明
日志格式

• 单行日志:默认为单行日志

• 多行日志:选择分隔字符串位置和分隔字符串,对匹配的数据进行多行合并

编码格式

设置文件编码格式,默认为utf-8,下拉框选项包括utf-8、gbk

过滤条件

默认关闭,采集所有日志文件

• 开启:根据过滤范围时间设置或者过滤指定路径下的日志文件,过滤历史日志文件;例如:/var/log/Nginx.txt 表示:过滤 log 路径下的 Nginx 日志文件

指定索引

默认关闭。开启后,需添加索引库,可以选择已有的索引库,也可以点击新建索引库连接,新开页面创建。

说明:新建索引库后,可以通过搜索找到该索引库

采集间隔

默认间隔5000毫秒

单词读取大小限制

默认为1048576B,超过设置大小数据会被截断

点击数据源旁边的【+】,可以添加多个数据源。

► 数据目的地配置:

元素名称 元素说明
*kafka输出地址 输入数据要上传的kafka的地址信息,ip:port格式,例如:10.2.3.2:31000
*sasl认证用户名 填写kafka的用户名
*sasl认证密码 填写kafka的密码,默认不明文显示
*索引库

添加采集数据使用的的索引库,可选择已有索引库,也可以点击新建索引库连接,新开页面创建。

说明:新建索引库后,可以通过搜索找到该索引库

► 高级配置:

元素名称 元素说明
采集限速

默认关闭,不限速

• 开启:根据填写限速大小进行采集限速

资源限制

默认关闭

开启后,可对CPU、内存、磁盘IO进行资源限制

分时段采集

• 默认关闭

• 开启,通过填写的执行周期和持续时间控制采集执行时长

配置填写完成后,点击【下一步】,进入完成页面。可以点击【查看列表】查看刚刚创建的模板;或点击【新建更多】继续创建模板