在数据管理>数据源>数据集成>采集配置模板页面,点击【+新建】进入新建模板配置页面,填写采集配置模板名称和备注:

元素名称 |
元素说明 |
*采集配置模板名称 |
设置配置模板名称,有40个字符长度限制 |
备注 |
非必填项,添加对模板的一些备注信息 |
点击下一步,集成方式选择【数据库采集】,点击【下一步】进入新建日志文件采集配置模板页面,具体配置如下所示:
► 数据来源配置:
全量模式

增量模式

元素名称 |
元素说明 |
*采集频率 |
cron表达式填写采集频率,支持手动填写或组件选择方式 |
*数据库连接配置.数据库类型 |
下拉框选项,支持postgresql、mssql、sqlserver、mysql、oracle、shentong六类数据库 |
*数据库连接配置.用户名 |
输入框,填写数据库的用户名
|
*数据库连接配置.密码 |
输入框,填写数据库的密码,默认非明文显示
|
*数据库连接配置.IP地址 |
输入框,填写数据库的ip地址
|
*数据库连接配置.端口 |
输入框,填写数据库的端口
|
*数据库连接配置.数据库名称 |
输入框,填写数据库名称
|
*数据库连接配置.其他连接条件 |
・默认关闭
・开启后,key-value的格式,填写其他连接条件。支持添加多个
|
数据库连接配置.字段值映射 |
・默认关闭
・开启后,可以输入字段值及该字段值的映射值。支持添加多个
|
*查询配置.查询条件-SQL |
SQL语句输入框,填写查询数据库数据语句
|
同步模式 |
・默认全量
・可选择增量,增量模式需要填写增量查询自增字段
|
*每次查询数量 |
默认100,用户可修改
|
点击数据库连接配置旁边的【+】,可以添加多个数据库连接配置。
► 数据目的地配置:

元素名称 |
元素说明 |
*kafka输出地址 |
输入数据要上传的kafka的地址信息,ip:port格式,例如:10.2.3.2:31000 |
*sasl认证用户名 |
填写kafka的用户名 |
*sasl认证密码 |
填写kafka的密码,默认不明文显示 |
*索引库 |
添加采集数据使用的的索引库,可选择已有索引库,也可以点击新建索引库连接,新开页面创建。
说明:新建索引库后,可以通过搜索找到该索引库
|
► 高级配置:

元素名称 |
元素说明 |
数据上报方式 |
默认同步,也可以选择异步
|
数据库性能 |
• 连接最大存在时间,默认100秒,可根据实际情况修改
• 最大打开连接数量,默认100,可根据实际情况修改
• 最大限制连接数量,默认20,可根据实际情况修改
|
查询性能 |
• 慢查询时间,默认100毫秒,可根据实际情况修改
• 分页查询间隔,默认10毫秒,可根据实际情况修改
• 单次查询超时,默认5000毫秒,可根据实际情况修改
|
字段值映射 |
• 默认关闭
• 开启后,需要输入字段值和映射值
|
转换小写字母 |
• 默认关闭,不转换
• 开启后,会将字段名转为小写字母
|
转换bool值 |
• 默认关闭,不转换
• 开启后,会将int类型的字段值,转换成bool值
|
转换空字符串 |
• 默认关闭
• 开启后,会将null的字段值转为空字符串
|
配置填写完成后,点击【下一步】,进入完成页面。可以点击【查看列表】查看刚刚创建的模板;或点击【新建更多】继续创建模板