更新时间:2022-08-13 21:30:54
数据库数据采集用于实现数据库数据同步配置,通过 JDBC 方式获取数据库表数据。
具体操作如下:
1. 进入远程采集页面点击【新建】进入选择来源页面,选择【数据库同步】进入配置页面,如下所示:
元素名称 元素说明
*名称 配置数据同步的名称
*数据库关联 点击下拉列表,可选择需关联的数据库
说明:若还未配置数据库,点击【创建连接】可跳转至数据连接配置页面进行配置,数据库连接配置详细请参见 数据库连接 章节
*日志类型 添加采集日志的分类标识
日志标签 添加采集日志的标签标识,点击回车或逗号即可生成标签
2. 点击【下一步】进入数据查询设置页面,如下所示:
元素名称 元素说明 限制性条件
*SQL 语句 设置数据库 SQL 查询语句,明确需同步的表数据范围
SQL语句基本格式要求:“select (需要的返回结果) from (需要查询的表格) ”,SQL语句最外层支持使用where,不支持使用order by等语法
-
自定义变量 添加或删除自定变量名称、变量值 -
*执行计划 设置数据库执行同步周期,以 Cron 表达式方式进行填写,格式为:min hour day mon week (year) -
采集模式 可选择全量采集或增量采集:
• 全量采集:每次同步会同步所有满足 SQL 查询语句的数据;
• 增量采集:需将数据库表中的某一个字段设置为*增量字段,并设置字段类型(数值/时间);
选择增量采集后,仅同步数据库表中大于自增字段值的日志数据
-
高级设置 连接超时 设置数据库连接超时时间 默认为 5 秒
连接尝试失败次数 设置数据库连接失败尝试次数 默认为 1 次
尝试连接时间 设置尝试连接数据库的时间间隔 默认为 10 秒
单次查询行数 设置单次查询的行数;若未设置,则默认为数据库的限制大小 默认为 10000 行
是否开启分页查询 设置是否开启分页查询,开启后可设置*分页查询大小(行) 默认单页查询 100000 行
字段小写转换 设置是否开启字段大小写转换,开启后数据库中的字段均自动转换为小写 -

Cron 表达式示例:
• 每隔 5 分钟执行一次:*/5 * * * *
• 每隔 2 天的上午 8 到 11 点的 05 和 15 分钟各执行一次:5,15 8-11 */2 * *
• 每天晚上 11 点到早上 7 点之间每隔 1 小时执行一次:* 23-7/1 * * *
• 每月 4 号与每周 5 到周日的凌晨 1 点半执行一次:30 1 4 * 5-7
• 1 月 1 号凌晨 3 点执行一次:0 3 1 1 *

3. 点击【下一步】进入检测阶段,检测成功后点击【下一步】进入完成页面,在此页面可进行以下操作:
• 点击【开始搜索】:可跳转至搜索页面,自动搜索已同步的数据库信息;
• 点击【查看列表】:可跳转至远程采集列表页面,查看采集任务状态;
• 点击【添加更多数据】:可再次进入选择来源页面,继续添加配置新的远程采集任务。