更新时间:2022-10-18 14:48:35
多域数据复制遵循网络限制规则,通过在多个网络域之间的数据复制,实现数据的统一存储,进而实现全局数据搜索和分析。
进入数据源>数据开放>多域数据复制页面,在此页面可进行创建、筛选、排序、修改、删除多域数据复制任务的功能操作。
► 新建多域数据复制任务:
1. 在数据源>数据开放>多域数据复制页面,点击【+新建】进入配置页面,如下所示:

元素名称 元素说明 备注
*任务名称 设置多域数据复制任务的名称 • ≤32字符,且不允许为空或重名;
• 允许包含~`@#&*()-+=_{}’,<>/特殊字符,但不允许以其开头
*源集群主机地址 输入被收集数据的源集群主机IP地址(或host name)和Kafka端口号 • 输入格式为IP:port或host:port;
• 支持输入多个主机地址,同时需要使用英文“,”隔开;
• 若主机使用的是Kafka默认对外开放的端口,则此处端口号默认使用31000
*目标集群主机地址 输入收集数据的目标集群主机IP地址(或host name)和Kafka端口号
sasl认证 选择是否开启源集群/目标集群主机Kafka的SASL认证:
• 开启:
   • *用户名:输入源集群/目标集群主机部署Kafka时设置的用户名;
   • *密码:输入源集群/目标集群主机部署Kafka时设置的密码;
• 关闭
• SASL可以保障Kafka的安全性,让未经认证的客户端无法连接Kafka服务;
• 默认开启 
ssl认证 选择是否开启源集群/目标集群主机Kafka的SSL认证 • 客户端与Kafka服务端的SSL连接可以保证数据的加密传输,保障数据安全;
• 默认关闭 
开启定时复制

• 开启:开启定时复制时,系统将在指定的时间点、持续时间执行多域复制任务

*执行周期:设置多域复制定时任务的开启时间。例如设置执行周期为“08:00”表示系统将在每天上午的8点开启多域复制任务;

*持续时间:设置多域复制任务开启后的持续时间。例如设置持续时间为“4”表示系统开启多域复制任务后,任务将持续执行4小时。

• 关闭:未开启定时复制时,系统默认全天执行多域复制任务,即实时复制。

• 执行周期默认为00:00;

• 持续时间默认单位为“小时”不可修改,默认值为“5”,输入值应>0且≤23;

• 默认关闭,即系统默认全天执行多域复制任务。

高级设置 允许复制的topic • 输入多域数据复制任务中允许复制的topic;
• 输入格式为string格式,可使用正则表达式,如allowed-topic, custom-topics-.*
• Kafka中有默认不复制的topic;
• 若两者都不设置,则除默认不复制的topic以外,其它topic全部复制
说明:Kafka使用topic来组织数据,因此多域数据复制主要为复制topic中的数据。
禁止复制的topic • 过滤多域数据复制任务中禁止复制的topic;
• 输入格式为string格式,可使用正则表达式,如not-allowed-topic, not-allowed-topics-.* 
注意:
• 每个任务中的“源集群主机地址”和“目标集群主机地址”这一集群对是唯一的;当已存在相同集群对的任务时,则该任务无法保存;
• 若源端或目标端的Kafka开启了SASL认证,则之前创建的多域数据复制任务需编辑配置后才可继续正常复制数据; 
• 任务数量上限为10个。

2. 点击【保存】完成多域数据复制任务创建,进入多域数据复制列表页面。
说明:多域数据复制任务创建成功后,可在源端和目标端的日志库中查看复制成功的数据。
► 筛选多域数据复制任务:
在多域数据复制列表页面,点击在下拉菜单中选择一种状态,点击确定,即可看到此种状态下的任务列表,如下所示:


注意:
1. 任务状态可以显示当前各多域数据复制任务的执行状态,有运行中、休眠中、关闭及失败四种状态:
• 休眠中:表示已开启定时复制但还未到执行周期的任务。
2. 当任务状态为“失败”时,失败详情可通过点击右侧【查看】后在弹出的详情页中查看,若出现以下类似情况,则为源端或目的端 Kafka连接失败,需排查Kafka连通性问题:
异常详情 异常原因
{"error_code":"DataReplicator.InternalError.KafkaInternalError","description":"服务器内部错误(kafka)","error_link":"","solution":"","error_details":"Failed to create sinkTopic, Local: Broker transport failure"} 目的端创建topic失败
Fatal error: Local: Broker transport failure 数据复制过程中,源端/目的端Kafka连接失败
Fatal error: Local: Timed out 数据复制过程中,源端/目的端Kafka连接超时
Local:Message timed out 往目的端发送消息超时

► 排序多域数据复制任务:
在多域数据复制列表页面,默认各任务从上到下根据更新时间递减排序;点击一次 ,各任务则根据更新时间递增排序;点击两次,各任务根据更新时间递减排序;点击三次回到默认排序。
► 查看多域数据复制任务:

在多域数据复制列表页面,点击右侧【查看】,在弹出的抽屉弹窗中可查看此任务详情,包括任务名称、最近更新时间、任务状态等信息,如下所示:

► 更改多域数据复制任务状态:
在多域数据复制列表页面,任务处于正常状态时,点击右侧【关闭】即可关闭复制任务;任务处于失败或关闭状态时,点击右侧【启动】即可重新开始复制任务,如下所示:

► 编辑多域数据复制任务:
在多域数据复制列表页面,点击右侧【编辑】,进入编辑任务界面,可对任务名称、源集群地址、目标集群地址、高级设置进行编辑修改,如下:

► 删除多域数据复制任务:
在多域数据复制列表页面,点击右侧【删除】,即可删除此任务。

元素名称