在数据管理>数据源>数据集成>采集配置模板页面,点击【+新建】进入新建模板配置页面,填写采集配置模板名称和备注:
元素名称 |
元素说明 |
*采集配置模板名称 |
设置配置模板名称,有40个字符长度限制 |
备注 |
非必填项,添加对模板的一些备注信息 |
点击下一步,集成方式选择【日志文件采集】,点击【下一步】进入新建日志文件采集配置模板页面,具体配置如下所示:
► 数据来源配置:
元素名称 |
元素说明 |
*文件路径 |
添加采集指定路径下的文件,灰色文字示例:C:\ProgramData\audit\*.log或/var/log/audit/*.log |
数据标签 |
对采集的数据加标签说明 |
日志格式 |
• 单行日志:默认为单行日志
• 多行日志:选择分隔字符串位置和分隔字符串,对匹配的数据进行多行合并
|
编码格式 |
设置文件编码格式,默认为utf-8,下拉框选项包括utf-8、gbk
|
过滤条件 |
• 默认关闭,采集所有日志文件
• 开启:根据过滤范围时间设置或者过滤指定路径下的日志文件,过滤历史日志文件;例如:/var/log/Nginx.txt 表示:过滤 log 路径下的 Nginx 日志文件
|
指定索引 |
默认关闭。开启后,需添加索引库,可以选择已有的索引库,也可以点击新建索引库连接,新开页面创建。
说明:新建索引库后,可以通过搜索找到该索引库
|
采集间隔 |
默认间隔5000毫秒
|
单词读取大小限制 |
默认为1048576B,超过设置大小数据会被截断
|
点击数据源旁边的【+】,可以添加多个数据源。
► 数据目的地配置:
元素名称 |
元素说明 |
*kafka输出地址 |
输入数据要上传的kafka的地址信息,ip:port格式,例如:10.2.3.2:31000 |
*sasl认证用户名 |
填写kafka的用户名 |
*sasl认证密码 |
填写kafka的密码,默认不明文显示 |
*索引库 |
添加采集数据使用的的索引库,可选择已有索引库,也可以点击新建索引库连接,新开页面创建。
说明:新建索引库后,可以通过搜索找到该索引库
|
► 高级配置:
元素名称 |
元素说明 |
采集限速 |
• 默认关闭,不限速
• 开启:根据填写限速大小进行采集限速
|
资源限制 |
• 默认关闭
• 开启后,可对CPU、内存、磁盘IO进行资源限制
|
分时段采集 |
• 默认关闭
• 开启,通过填写的执行周期和持续时间控制采集执行时长
|
配置填写完成后,点击【下一步】,进入完成页面。可以点击【查看列表】查看刚刚创建的模板;或点击【新建更多】继续创建模板