在数据管理>数据源>数据集成>采集配置模板页面,点击【+新建】进入新建模板配置页面,填写采集配置模板名称和备注:
元素名称 |
元素说明 |
*采集配置模板名称 |
设置配置模板名称,有40个字符长度限制 |
备注 |
非必填项,添加对模板的一些备注信息 |
点击下一步,集成方式选择【Elasticsearch数据同步】,点击【下一步】进入Elasticsearch数据同步配置页面,具体配置如下所示:
► 数据来源配置:
元素名称 |
元素说明 |
采集频率 |
通过Cron表达式指定任务调度时间,按照指定的任务调度时间检查查询和分析结果 |
*连接地址 |
添加Elasticsearch的地址,灰色文字示例:http(s)://xxx.xxx.xxx.xxx:30000 |
用户密码认证 |
• 默认关闭:不需要填Elasticsearch的账号密码
• 开启:填写Elasticsearch的用户名和密码,用于连接
|
查询索引 |
待查询的索引库,支持多个、通配符、使用内置日期变量和格式化语法 |
增量字段 |
采集器会基于增量字段分批次采集数据,建议使用数据创建时间、自增ID作为增量字段
说明:建议使用数据创建时间、自增ID作为增量字段
|
增量字段初始值 |
设置了增量字段初始值,只会采集增量字段>=初始值的数据
|
点击数据源旁边的【+】,可以添加多个数据源。
► 数据目的地配置:
元素名称 |
元素说明 |
*kafka输出地址 |
输入数据要上传的kafka的地址信息,ip:port格式,例如:10.2.3.2:31000 |
*sasl认证用户名 |
填写kafka的用户名 |
*sasl认证密码 |
填写kafka的密码,默认不明文显示 |
*索引库 |
添加采集数据使用的的索引库,可选择已有索引库,也可以点击新建索引库连接,新开页面创建。
说明:新建索引库后,可以通过搜索找到该索引库
|
► 高级配置:
元素名称 |
元素说明 |
数据上报模式 |
默认为同步可靠上报,下拉框可以选择异步高效上报模式
|
DSL查询语句 |
输入DSL语句辅助查询 |
配置填写完成后,点击【下一步】,进入完成页面。可以点击【查看列表】查看刚刚创建的模板;或点击【新建更多】继续创建模板