更新时间:2024-11-11 18:21:29

索引库管理模块提供了针对索引库的统一管理入口,包括创建删除、修改查看索引库配置详情导入导出手动轮转索引库等管理功能。

创建索引库时,通过配置引用的字段模型来定义数据结构的构成规则,通过配置引用的索引库策略来定义索引全生命周期的动态管理策略,通过配置索引库存储规则来定义数据存储的方式和策略。具体创建配置操作如下:

›  创建索引库

快速阅读链接:

1. 配置索引库的基本信息

2. 添加引用的字段模型

3. 添加引用的索引库策略

4. 配置索引库存储策略

 

进入数据管理 > 数据存储 > 索引库 > 索引库管理 页面,点击索引库管理列表上方的【+新建】按钮,进入“新建索引库”配置页面。如下所示:

1. 配置索引库基本信息

索引库的“基本配置”界面如下所示:

“基本配置”参数说明如下:

元素名称 元素说明 限制条件
*索引库名称

设置索引库名称,用于区别不同索引库,此名称全局唯一。

说明:完成索引库的配置后,不能修改此配置项。

• 索引库名称不能重复,且不能为空;

• 索引库名称需为全小写英文,可以使用~、`、!、@、$、^、&、(、)、_、=字符,但不能以这些字符开头;

• ≤40个字符

*索引库类型

设置索引库类型(base_type),用于生成索引别名,全局唯一。此处配置的别名可以指向一个索引,系统将根据此别名将数据写入指向的索引。

说明:完成索引库的配置后,不能修改此配置项。

• 索引库类型不能重复,且不能为空;

• 索引库类型需为全小写,仅可包含英文、数字、下划线,且需要以英文开头;

• ≤40个字符

标签

根据实际需求设置索引库的标签信息,用于业务标识或业务分组,可通过回车键添加多个标签。

• 标签不能包含 /:?\"<>|:?‘’“”!《》,#[]{}%&*$^!=.' 特殊字符;

• ≤40个字符;

• 最多支持创建5个标签

备注

根据实际需求填写索引库的其他属性信息。

• ≤255个字符

     

2. 配置字段模型信息

选择索引库所需的字段模型,选中后,索引库将基于此字段模型定义的数据结构信息,来搭建索引库。索引库“字段模型配置”界面,如下所示:

点击【添加字段模型】按钮,在页面右侧弹出的"添加字段模型"抽屉中勾选所需字段模型。如下所示:

注意:

1. 字段模型为必选项,不能为空,同一索引库最多只能添加1个字段模型;

2. 配置抽屉的字段模型列表中可选的字段模型为系统中已有的所有字段模型,您可以直接勾选进行配置,也可以通过配置筛选条件快速查找所需字段模型。若在列表中未找到所需字段模型,您可以进入字段模型管理模块创建。

3. 配置索引库策略

索引库的“索引库策略配置”界面如下所示:

在"索引库策略配置"区域,点击【添加索引库策略】按钮,在页面右侧弹出的"添加索引库策略"抽屉中勾选所需的索引管理策略。如下所示:

配置成功后,系统将基于此索引库策略定义的索引生命周期规则,动态管理处于不同生命周期阶段的索引。

注意:

1. 索引库策略为必选项,不能为空;

2. 不同索引库可以引用同一个索引库策略,但同一索引库最多只能添加1个索引库策略;

3. 配置抽屉的索引库策略列表中可选的策略为系统中已有的所有索引库策略,您可以直接勾选进行配置,也可以通过配置筛选条件快速查找所需策略。若在列表中未找到所需的索引管理策略,您可以进入索引库策略管理模块创建。

4. 配置索引库存储策略

进入“存储配置”区域,配置界面如下所示:

“存储配置”参数说明如下:

元素名称 元素说明 限制条件
主分片 设置将索引数据均衡分布的节点数量,建议根据集群中的节点数量设置主分片数,或以节点数1-3倍的原则来设置主分片数,默认主分片数为3。可参考下方的参数示例进行配置。 • 主分片不能为空
刷新间隔

设置索引库更新索引数据的时间间隔,刷新时间间隔需>0,可选单位:秒、毫秒、分钟,默认为120秒。

说明:增大刷新间隔可以优化数据入库性能,但会带来查询搜索的延迟。建议综合考量对写入性能及查询性能的需求后进行配置。

• 刷新间隔不能为空;

• 刷新间隔需>0;

字段上限

设置索引库中可创建的字段数量上限,默认为2000。

说明:建议根据实际需求场景中的硬件、内存及配置等资源条件限制进行配置,以确保不超出系统容量和性能限制的同时,满足数据存储和检索的需求。

• 字段上限不能为空;

• 字段上限需设置在1000-10000之间

注意:为避免因系统数据量与索引分配的分片数不合理,而导致存储空间不足或浪费。请结合实际情况,合理根据业务数据量规划分片数,具体可以参考下表示例:

业务数据量(天) 分片数 主分片大小(存储空间)
data≥90GB 4 120GB
60GB≤data<90GB 3 90GB
30GB≤data<60GB 2 60GB
2GB≤data<30GB 2 40GB
1GB≤data<2GB 1 15GB
500MB≤data<1GB 1 15GB
100MB≤data<500MB 1 15GB
data<100MB 1 15GB

 

›  其他管理操作

完成索引库的创建操作后,您可以进入 数据管理 > 数据存储 > 索引库 > 索引库管理 配置页面,在索引库管理列表中查看系统当前已存的所有索引库。支持对指定索引库进行修改、删除查看配置详情手动轮转等操作。相关操作说明如下:

»  编辑/删除索引库

索引库管理列表,选中目标索引库后点击"操作"列的“编辑”/“删除”按钮,系统将分别执行对应操作。

说明:

1. 修改索引库时,不支持修改"索引库名称"、"索引库类型";

2. 删除索引库操作不可逆,请谨慎操作!若删除了已被数据采集模块/其他查询分析模块引用的索引库,将导致处于运行中的数据摄入任务存有数据丢失风险/无法进行相关数据的查询。

3. 索引库被删除后,您可在审计日志中查看相应的“删除”日志。

»  查看索引库详情信息

索引库管理列表点击指定索引库"操作"列的“查看”按钮,可在详情抽屉中查看此索引库的基本信息、状态信息、引用的字段模型的字段信息以及引用的索引库策略配置信息等。其中,状态信息中的“最早数据时间”指的是索引库开始写入数据的时间,“最新数据时间”指的是索引库最近一次写入数据的时间,若索引库无数据则此处无统计时间。如下所示:

»  导入导出索引库

       在索引库管理列表,支持批量导入导出索引库操作,

       导出:勾选具体索引库,点击【导出】按钮,可将已创建的索引库配置以“.json”格式导出,供其他场景快速应用

       导入:点击【导入】按钮,在弹出的窗口中选中包含索引库配置信息的文件,点击【打开】后即可批量导入并创建索引库

        当导入文件中存在索引库与已有索引库类型相同时,会弹框提示索引库类型重名,支持“覆盖”、“忽略”和“取消”操作。

              选择覆盖时,导入文件会覆盖与已有索引库类型相同的索引库,同时会新增与已有索引库类型不相同的索引库

 

              选择忽略时,导入文件会忽略与已有索引库类型相同的索引库,新增与已有索引库类型不相同的索引库

 

              选择取消时,实际不导入索引库,则无新增和更新索引库

 

注意:

1. 仅支持导入json格式的文件;

2. 支持导入多个索引库:导入时,若索引库绑定的字段模型或索引库策略不存在,则导入操作失败。

3. 若AnyRobot中存有重名的索引库对象,则导入动作将会停止,导入操作失败;

4. 批量导入失败后,您可在审计日志中查看对应的“失败”记录。

提示:支持导出多个索引库。

»  手动轮转索引库

索引库管理列表点击指定索引库"操作"列的”轮转“按钮,在弹出的提示窗口中,点击【确认】即可对索引库进行轮转操作。轮转成功后,则数据将会写入到新的索引中,旧索引变为只读状态。

注意:若手动轮转过程中索引库服务或数据库发生异常,系统将等待服务恢复正常后,继续进行轮转。无论轮转成功与否,均可以在审计日志中查看相应日志。