更新时间:2022-11-23 17:28:32
重解析数据流用于抽取未解析或解析失败的数据,再次经过解析后,再次经过解析后再执行存储的使用场景,具体操作如下:
1. 进入数据管理>数据源>数据流页面,点击【新建】进入新建数据流任务页面,点击【重解析数据流】显示配置参数,如下所示:


元素名称
元素说明
数据源设置 *选择类型 选择匹配数据源的方式:手动选择/自动匹配
*选择索引库 选择需获取数据流所属的索引库
• 手动选择:可在索引库下拉列表中,点击选择单个或多个索引库;
• 自动匹配:可根据日志类型自动筛选匹配索引库
高级筛选 筛选条件 选择索引库已解析字段字段值,通过筛选字段对索引数据进行过滤,多个筛选条件可通过 AND 或 OR 进行逻辑组合添加
2. 点击【下一步】弹出确认重解析大小窗口,可查看已选择数据源中需重解析的数据总数日志类型,如下所示:

3. 点击【确定】进入输入设置页面,配置参数如下:
 
元素名称 元素说明 限制条件
主机 用于定义重解析后日志事件中的主机字段和字段值,设置成功后主机字段和字段值将被替换到重解析后的日志数据中 -
日志标签 用于定义重解析后日志事件中的日志标签,设置成功后将被添加到重解析后的日志数据中 最多可添加 5 个
4. 点击【下一步】进入数据目的地页面,确认重解析后日志数据存放的索引库,默认与数据源所选索引库保持一致,如下所示:

5. 点击【下一步】进入任务设置页面,配置参数如下:
元素名称 元素说明
*任务名称 设置重解析数据流的任务名称
*日志抽取速率 设置每秒抽取日志条数,默认为 3000 条
*任务计划 设置任务计划执行方式:
• 执行一次:设置任务开始执行的时间,默认从当前时间开始执行;
• 固定时间:设置任务执行的固定时间点,默认每天 00:00 执行一次,可自定义每天或每周周几执行
*任务生命周期 设置任务执行的结束时间,默认 8 天未检测到新的数据将结束数据流任务
6. 点击【下一步】进入检查页面,检查确认重解析数据流配置参数,点击可跳转至对应页面修改配置参数,如下所示:

7.  点击【完成并提交】跳转至完成页面可以进行查看列表、添加更多任务操作,如下所示:
• 查看列表:点击可跳转至数据流列表页面查看任务;
• 添加更多数据:点击可再次新建数据流任务。