在数据管理>数据源>文件采集>配置模板页面,点击【+新建】进入新建模板配置页面,具体配置如下所示:
► 基础配置:
元素名称 |
元素说明 |
*模板名称 |
设置配置模板名称 |
*Agent 类型 |
选择 Agent 代理类型:AR-Agent、Filebeat |
*模板类型 |
• 当 Agent 类型为 AR-Agent 时,模板类型可选择:AR-Agent 通用输入模板、AR-Agent 通用输出模板、Windows 日志采集输入模板; • 当 Agent 类型为 Filebeat 时,模板类型可选择:Filebeat 输入模板、Filebeat 输出模板 说明:Windows 日志采集输入配置模板,可实现 Windows 日志统一采集与管理,简化原繁琐的部署及配置过程 |
► 采集配置:
• AR-Agent 通用输入模板:
元素名称 |
元素说明 |
*文件路径 |
• 采集:添加采集指定路径下的文件,例如: • /var/log/Apache.txt:表示采集 log 路径下的 Apache 日志文件; • /var/log/*:表示采集 log 路径下的所有日志文件 • 过滤:添加过滤指定路径下的日志文件,例如:/var/log/Nginx.txt 表示:过滤 log 路径下的 Nginx 日志文件 |
文件编码格式 |
设置文件编码格式:可选择自动识别或手动输入 2 种编码方式 说明:自动识别仅支持 ASCII、BIG5、GB2312、UTF-8、GBK |
*索引库 |
设置采集数据使用的的索引库 |
数据标签 |
设置要添加的自定义 tag 字段到数据中 |
文件句柄上限 |
用于设置文件句柄的上限数量,默认为 1000;当文件句柄达到上限后,将不再进行文件监听 说明:文件句柄用于文件定位,实现文件监控机制。文件句柄上限设置项,用于限制 Agent 占用文件句柄的数量,避免由于 Agent 占用过多文件句柄,而影响其他进程对于文件句柄的使用 |
文件句柄释放 |
用于设置是否开启文件句柄释放功能;启用文件句柄释放:需设置非活跃句柄释放时间阈值(默认为 1 天),超过非活跃文件句柄释放时间阈值的句柄,将自动释放该句柄 |
过滤历史数据 |
• 开启:不采集历史数据,仅采集新增数据; • 关闭:全量采集日志数据 |
过滤历史文件 |
• 开启:根据过滤范围时间设置,过滤历史日志文件; • 关闭:采集所有历史日志文件 注意:只支持新建时编辑,一旦新建后不允许更改 |
清理过期文件 |
• 开启:根据过期时间设置,清理历史日志文件; • 关闭:不允许清理历史日志文件 注意:文件一旦清理后,则不可恢复 |
*单条日志限制 |
设置单条日志限制大小,当单条日志超出大小限制时将被执行过滤 注意:单条日志大小上限为 10 MB |
多行合并 |
• 开启:配置多行合并规则,对匹配数据执行多行合并: • 多行合并表达式:若当前行匹配该表达式,则会被合并为一行; • 正则反转:开启后,表示若当前行不匹配多行合并表达式,则会被合并为一行; • 匹配模式:选择 after,则与前一条日志合并为一行;选择 before,则与后一条日志合并为一行 • 关闭:不执行多行合并操作 |
附加字段 |
用于添加自定义字段至数据中 |
• AR-Agent 通用输出模板:
元素名称 |
元素说明 |
限制条件 |
*输出地址 |
用于指定输出数据的传输目的地,支持输入目标IP地址或域名 |
- |
*输出端口 |
用于指定输出数据的传输端口 |
- |
传输协议 |
用于指定输出数据的传输协议,包括:HTTP、HTTPS、TCP 三种 |
- |
输出限速 |
► 开启:配置输出限速规则: • *限速大小:选择带宽限制,设置限速大小(MB/S);选择日志数限制,设置日志数(条/秒); • *限速时段:选择按天,设置每天的限速执行时间段;选择按周,设置每周的限速执行时间段 ► 关闭:则日志传输无速度限制,仅受带宽大小影响 |
关闭限速后,建议单次输出日志上限条数不超过 2000 条,且大小不超过 300MB,以保证数据传输的稳定性 |
• Windows 日志采集输入模板:
元素名称 |
元素说明 |
*采集项 |
可选择 Application、Security、System |
*过滤历史文件 |
• 开启:设置过滤时间范围,依据过滤时间范围过滤历史日志文件; • 关闭:采集历史日志文件 注意:只支持新建时设置,一旦新建成功后不允许更改 |
*索引库 |
设置数据输入所属的索引库,默认为 windowsevent |
数据标签 |
添加自定义 tag 字段至输入的数据中 |
注意:
1. 使用 AR-Agent 采集 Windows 日志采集时,请确认是否已在 Windows 系统中完成 AR-Agent 安装包部及配置;
2. AR-Agent 安装包兼容以下情况:
• 操作系统:Windows Server 2008、Windows Server 2012、Windows Server 2016、Windows Server 2019、Windows XP、Windows 7、Windows 10;
• CPU架构:x86、ARM