更新时间:2022-08-13 21:30:54
多域复制遵循网络限制规则,通过在多个网络域之间的数据复制,实现数据的统一存储,进而实现全局数据搜索和分析。
进入数据源>数据开放>多域复制页面,在此页面可进行创建、筛选、排序、修改、删除多域复制任务的功能操作。
• 新建多域复制任务:
1. 在数据源>数据开放>多域复制页面,点击【+新建】进入配置页面,如下所示:
元素名称 元素说明 备注
*任务名称 设置多域复制任务的名称 • ≤32字符,且不允许为空或重名;
• 允许包含~`@#&*()-+=_{}’,<>/特殊字符,但不允许以其开头
*源集群主机地址 输入被收集数据的源集群主机IP地址(或host name)和Kafka端口号 • 输入格式为IP:port或host:port;
• 支持输入多个主机地址,同时需要使用“,”隔开;
• 若主机使用的是Kafka默认对外开放的端口,则此处端口号默认使用31000
*目标集群主机地址 输入收集数据的目标集群主机IP地址(或host name)和Kafka端口号
高级设置 允许复制的topic • 输入多域复制任务中允许复制的topic;
• 输入格式为string格式,可使用正则表达式,如allowed-topic, custom-topics-.*
• Kafka中有默认不复制的topic;
• 若两者都不设置,则除默认不复制的topic以外,其它topic全部复制
说明:Kafka使用topic来组织数据,因此多域复制主要为复制topic中的数据。
禁止复制的topic • 过滤多域复制任务中禁止复制的topic;
• 输入格式为string格式,可使用正则表达式,如not-allowed-topic, not-allowed-topics-.* 
注意:
• 每个任务中的“源集群主机地址”和“目标集群主机地址”这一集群对是唯一的;当已存在相同集群对的任务时,则该任务无法保存;
• 任务数量上限为10个。

2. 点击【保存】完成多域复制任务创建,进入多域复制列表页面。
说明:多域复制任务创建成功后,可在源端和目标端的日志库中查看复制成功的数据。
• 筛选多域复制任务:
在多域复制列表页面,点击在下拉菜单中选择一种状态,点击确定,即可看到此种状态下的任务列表,如下:


注意:
• 任务状态可以显示当前各多域复制任务的执行状态,有正常、暂停以及异常三种状态;
• 任务出现异常状态时,异常详情可通过点击右侧【查看】后弹出的抽屉弹窗中查看,若出现以下类似异常详情,则为源端或目的端 Kafka连接失败,需排查Kafka连通性问题:
异常详情 异常原因
{"error_code":"DataReplicator.InternalError.KafkaInternalError","description":"服务器内部错误(kafka)","error_link":"","solution":"","error_details":"Failed to create sinkTopic, Local: Broker transport failure"} 目的端创建topic失败
Fatal error: Local: Broker transport failure 数据复制过程中,源端/目的端Kafka连接失败
Fatal error: Local: Timed out 数据复制过程中,源端/目的端Kafka连接超时
Local:Message timed out 往目的端发送消息超时

• 排序多域复制任务:
在多域复制列表页面,默认各任务从上到下根据更新时间递减排序;点击一次 ,各任务则根据更新时间递增排序;点击两次,各任务根据更新时间递减排序;点击三次回到默认排序,如下:

• 查看多域复制任务:

在多域复制列表页面,点击右侧【查看】,在弹出的抽屉弹窗中可查看此任务详情,包括任务名称、最近更新时间、任务状态等信息,如下:

• 更改多域复制任务状态:
在多域复制列表页面,任务处于正常状态时,点击右侧【暂停】即可暂停复制任务;任务处于异常或暂停状态时,点击右侧【开始】即可重新开始复制任务,如下:

• 编辑多域复制任务:
在多域复制列表页面,点击右侧【编辑】,进入编辑任务界面,可对任务名称、源集群地址、目标集群地址、高级设置进行编辑修改,如下:

• 删除多域复制任务:
在多域复制列表页面,点击右侧【删除】,即可删除此任务。

元素名称