更新时间:2024-12-24 11:35:26

数据管理>数据源>数据集成>采集配置模板页面,点击【+新建】进入新建模板配置页面,填写采集配置模板名称和备注:

元素名称 元素说明
*采集配置模板名称 设置配置模板名称,有40个字符长度限制
备注 非必填项,添加对模板的一些备注信息

点击下一步,集成方式选择【Elasticsearch数据同步】,点击【下一步】进入Elasticsearch数据同步配置页面,具体配置如下所示:
► 数据来源配置:

元素名称 元素说明
采集频率 通过Cron表达式指定任务调度时间,按照指定的任务调度时间检查查询和分析结果
*连接地址 添加Elasticsearch的地址,灰色文字示例:http(s)://xxx.xxx.xxx.xxx:30000
用户密码认证

• 默认关闭:不需要填Elasticsearch的账号密码 

• 开启:填写Elasticsearch的用户名和密码,用于连接

查询索引 待查询的索引库,支持多个、通配符、使用内置日期变量和格式化语法
增量字段

采集器会基于增量字段分批次采集数据,建议使用数据创建时间、自增ID作为增量字段

说明:建议使用数据创建时间、自增ID作为增量字段

增量字段初始值

设置了增量字段初始值,只会采集增量字段>=初始值的数据

点击数据源旁边的【+】,可以添加多个数据源。

► 数据目的地配置:

元素名称 元素说明
*kafka输出地址 输入数据要上传的kafka的地址信息,ip:port格式,例如:10.2.3.2:31000
*sasl认证用户名 填写kafka的用户名
*sasl认证密码 填写kafka的密码,默认不明文显示
*索引库

添加采集数据使用的的索引库,可选择已有索引库,也可以点击新建索引库连接,新开页面创建。

说明:新建索引库后,可以通过搜索找到该索引库

► 高级配置:

元素名称 元素说明
数据上报模式

默认为同步可靠上报,下拉框可以选择异步高效上报模式

DSL查询语句 输入DSL语句辅助查询

配置填写完成后,点击【下一步】,进入完成页面。可以点击【查看列表】查看刚刚创建的模板;或点击【新建更多】继续创建模板