更新时间:2025-07-01 17:49:49

数据管理>数据源>数据集成>采集配置模板页面,点击【+新建】进入新建模板配置页面,填写采集配置模板名称和备注:

元素名称 元素说明
*采集配置模板名称 设置配置模板名称,有40个字符长度限制
备注 非必填项,添加对模板的一些备注信息

点击下一步,集成方式选择【数据库采集】,点击【下一步】进入新建日志文件采集配置模板页面,具体配置如下所示:
► 数据来源配置:

  全量模式

增量模式

元素名称 元素说明
*采集频率 cron表达式填写采集频率,支持手动填写或组件选择方式
*数据库连接配置.数据库类型 下拉框选项,支持postgresql、mssql、sqlserver、mysql、oracle、shentong六类数据库
*数据库连接配置.用户名

输入框,填写数据库的用户名

*数据库连接配置.密码

输入框,填写数据库的密码,默认非明文显示

*数据库连接配置.IP地址

输入框,填写数据库的ip地址

*数据库连接配置.端口

输入框,填写数据库的端口

*数据库连接配置.数据库名称

输入框,填写数据库名称

*数据库连接配置.其他连接条件

・默认关闭

・开启后,key-value的格式,填写其他连接条件。支持添加多个

数据库连接配置.字段值映射

・默认关闭

・开启后,可以输入字段值及该字段值的映射值。支持添加多个

*查询配置.查询条件-SQL

SQL语句输入框,填写查询数据库数据语句

同步模式

・默认全量

・可选择增量,增量模式需要填写增量查询自增字段

*每次查询数量

默认100,用户可修改

点击数据库连接配置旁边的【+】,可以添加多个数据库连接配置。

► 数据目的地配置:

元素名称 元素说明
*kafka输出地址 输入数据要上传的kafka的地址信息,ip:port格式,例如:10.2.3.2:31000
*sasl认证用户名 填写kafka的用户名
*sasl认证密码 填写kafka的密码,默认不明文显示
*索引库

添加采集数据使用的的索引库,可选择已有索引库,也可以点击新建索引库连接,新开页面创建。

说明:新建索引库后,可以通过搜索找到该索引库

► 高级配置:

元素名称 元素说明
数据上报方式

默认同步,也可以选择异步

数据库性能

• 连接最大存在时间,默认100秒,可根据实际情况修改

• 最大打开连接数量,默认100,可根据实际情况修改

• 最大限制连接数量,默认20,可根据实际情况修改

查询性能

• 慢查询时间,默认100毫秒,可根据实际情况修改

• 分页查询间隔,默认10毫秒,可根据实际情况修改

• 单次查询超时,默认5000毫秒,可根据实际情况修改

字段值映射

• 默认关闭

• 开启后,需要输入字段值和映射值

转换小写字母

• 默认关闭,不转换

• 开启后,会将字段名转为小写字母

转换bool值

• 默认关闭,不转换

• 开启后,会将int类型的字段值,转换成bool值

转换空字符串

• 默认关闭

• 开启后,会将null的字段值转为空字符串

配置填写完成后,点击【下一步】,进入完成页面。可以点击【查看列表】查看刚刚创建的模板;或点击【新建更多】继续创建模板