更新时间:2022-08-13 21:23:29
归档恢复数据流用于抽取已归档的冷数据,并再次经过解析后,再存储到 Elasticsearch 的使用场景。将已归档的冷数据重新恢复并迁移至热节点存储,作为热数据进行搜索和分析。具体操作如下:
1. 进入数据源>数据流页面,点击【新建】进入新建数据流任务页面,点击【归档恢复数据流】显示配置参数,如下所示:


  说明:归档数据源选择也可通过日志归档功能实现,详细可参见 日志文件 章节。
2. 配置数据源参数,点击【请选择文件】按钮,显示选择恢复文件窗口,在此界面可勾选需进行归档恢复的日志文件,具体如下:

3. 点击【确认】可在文件预览页面查看待归档恢复的日志文件详情,包含:文件总数、待归档日志包含的日志类型/日志主机、所有待归档文件,如下所示:

4. 点击【下一步】进入输入设置页面,用于根据实际需求自定义日志类型主机日志标签的字段值,配置参数如下:
注意:此配置项为非必填项,可直接跳过。
元素名称 元素说明 限制条件
日志类型 用于定义归档恢复后日志事件中的日志类型,设置成功后将替换原日志数据的日志类型 -
主机 用于定义归档恢复后日志事件中的主机字段和字段值,设置成功后将替换原日志数据中的主机字段和字段值 -
日志标签 用于定义归档恢复后日志事件中的日志标签,设置成功后将添加标签至归档恢复后的日志数据中 最多可添加 5 个
5. 点击【下一步】进入数据目的地页面,配置数据需流转至的目的地参数;
新建Topic:输入需创建的 Kafka Topic 名称,如下所示:

注意:新建 Topic 需满足以下要求:
1. Topic 不允许为空或重名;
2. 可输入英文或数字,可包含字符"-" "_"  "."
3. Topic 可输入 1~32 个字符。

已有Topic:可选择系统内已存在的 Topic,如下所示:

6. 点击【下一步】进入执行计划页面,配置参数如下所示:
元素名称 元素说明
*任务名称 设置归档恢复数据流的任务名称
*任务计划 设置任务计划执行方式:
• 执行一次:设置任务开始执行的时间,默认从当前时间开始执行;
• 固定时间:设置任务执行的固定时间点,默认每天 00:00 执行一次,可自定义每天或每周周几执行
7. 点击【下一步】进入检查页面,查看确认归档恢复数据流的配置参数,点击可跳转至对应页面修改配置参数,如下所示:

8. 点击【完成并提交】跳转至完成页面可以进行查看列表、添加更多任务操作,如下所示:
• 查看列表:点击可跳转至数据流列表页面查看任务;
• 添加更多数据:点击可再次新建数据流任务。