更新时间:2022-11-23 13:26:49
数据管理>数据源>文件采集>配置模板页面,点击【+新建】进入新建模板配置页面,具体配置如下所示:
► 基础配置:
元素名称 元素说明
*模板名称 设置配置模板名称
*Agent 类型 选择 Agent 代理类型:AR-Agent、Filebeat
*模板类型 • 当 Agent 类型为 AR-Agent 时,模板类型可选择:通用输入模板、通用输出模板、Windows 日志采集输入模板;
• 当 Agent 类型为 Filebeat 时,模板类型可选择:Filebeat 输入模板、Filebeat 输出模板
说明:Windows 日志采集输入配置模板,可实现 Windows 日志统一采集与管理,简化原繁琐的部署及配置过程
► 采集配置:
• AR-Agent 通用输入模板:
元素名称 元素说明
*文件路径 • 采集:添加采集指定路径下的日志文件,例如:
   • /var/log/Apache.txt:表示采集 log 路径下的 Apache 日志文件;
   • /var/log/*:表示采集 log 路径下的所有日志文件
• 过滤:添加过滤指定路径下的日志文件,例如:/var/log/Nginx.txt 表示:过滤 log 路径下的 Nginx 日志文件
文件编码格式 设置文件编码格式:可选择自动识别或手动输入 2 种编码方式
说明:自动识别仅支持 ASCII、BIG5、GB2312、UTF-8、GBK 
*日志类型 添加自定义 type 字段至日志数据中
日志标签 添加自定义 tag 字段至日志数据中
文件句柄上限 用于设置文件句柄的上限数量,默认为 1000;当文件句柄达到上限后,将不再进行文件监听
说明:文件句柄用于文件定位,实现文件监控机制。文件句柄上限设置项,用于限制 Agent 占用文件句柄的数量,避免由于 Agent 占用过多文件句柄,而影响其他进程对于文件句柄的使用
文件句柄释放 用于设置是否开启文件句柄释放功能;启用文件句柄释放:需设置非活跃句柄释放时间阈值(默认为 1 天),超过非活跃文件句柄释放时间阈值的句柄,将自动释放该句柄
过滤历史数据 • 开启:不采集历史数据,仅采集新增数据;
• 关闭:全量采集日志数据
过滤历史文件 • 开启:根据过滤范围时间设置,过滤历史日志文件;
• 关闭:采集所有历史日志文件
注意:只支持新建时编辑,一旦新建后不允许更改
清理过期文件 • 开启:根据过期时间设置,清理历史日志文件;
• 关闭:不允许清理历史日志文件
注意:文件一旦清理后,则不可恢复
*单条日志限制 设置单条日志限制大小,当单条日志超出大小限制时将被执行过滤
注意:单条日志大小上限为 10 MB
多行合并 • 开启:配置多行合并规则,对匹配数据执行多行合并:
  • 多行合并表达式:若当前行匹配该表达式,则会被合并为一行;
  • 正则反转:开启后,表示若当前行不匹配多行合并表达式,则会被合并为一行;
  • 匹配模式:选择 after,则与前一条日志合并为一行;选择 before,则与后一条日志合并为一行
• 关闭:不执行多行合并操作 
附加字段 用于添加自定义字段至日志数据中
• AR-Agent 通用输出模板:
元素名称 元素说明 限制条件
*输出地址 用于指定日志数据的传输目的地,支持输入目标IP地址或域名 -
*输出端口 用于指定日志数据的传输端口 -
传输协议 用于指定日志数据的传输协议,包括:HTTP、HTTPS、TCP 三种 -
输出限速 ► 开启:配置输出限速规则:
*限速大小:选择带宽限制,设置限速大小(MB/S);选择日志数限制,设置日志数(条/秒);
*限速时段:选择按天,设置每天的限速执行时间段;选择按周,设置每周的限速执行时间段 

► 关闭:则日志传输无速度限制,仅受带宽大小影响
关闭限速后,建议单次输出日志上限条数不超过 2000 条,且大小不超过 300MB,以保证数据传输的稳定性
• Windows 日志采集输入模板:
元素名称 元素说明
*采集项 可选择 Application、Security、System
*过滤历史文件 • 开启:设置过滤时间范围,依据过滤时间范围过滤历史日志文件;
• 关闭:采集历史日志文件
注意:只支持新建时设置,一旦新建成功后不允许更改
*日志类型 默认为 windowsevent
日志标签 添加自定义 tag 字段至日志数据中

注意:
1. 使用 AR-Agent 采集 Windows 日志采集时,请确认是否已在 Windows 系统中完成 AR-Agent 安装包部及配置;
2. AR-Agent 安装包兼容以下情况:
• 操作系统:Windows Server 2008、Windows Server 2012、Windows Server 2016、Windows Server 2019、Windows XP、Windows 7、Windows 10;
• CPU架构:x86、ARM